robots.txt對於大部分數有網站優化經驗的朋友來說並不算太生疏，用過的朋友肯定會有感覺，設置好robots.txt對網站優化來說利遠長遠於弊。今日彭宇誠就與大家分享一下子robots.txt的運用辦法，期望對大家有所幫忙。

　　我們先來意識一下子啥子是robots.txt?

　　我了解的是robots.txt是經過代碼扼制搜索引擎網站蛛蛛引得的一個手眼，以便減緩網站服務器的帶寬運用率，因此讓網站的空間更牢穩，同時也可以增長網站其它頁面的引得速率，增長網站收錄。

　　下邊我們再來知道得清楚一下子怎樣運用robots.txt?

　　首先，我們需求開創一個robots.txt文本文件，而後在文檔內設置好代碼，奉告搜索引擎網站我網站的哪一些文件你不可以過訪。而後上傳到網站根目次下邊，由於當搜索引擎網站蛛蛛在引得一個網站時，會先爬動檢查網站根目次下是否有robots.txt文件。

　　robots.txt文件內的代碼書寫規范我們也要注意，那裡面User-agent:*是務必存在的，表達對全部搜索引擎網站蛛蛛管用。Disallow:是解釋明白不准許引得哪一些文件夾。下邊舉一點例子來看看：

　　例1：

　　User-agent:*

　　Disallow:/

　　表達嚴禁全部搜索引擎網站抓取網站的內部實質意義

　　例2：

　　Disallow:

　　表達准許全部搜索引擎網站抓取(和不設置robots.txt的意思是同樣的)

　　例3：

　　User-agent:*

　　Disallow:/templetes

　　表達嚴禁全部搜索引擎網站抓取網站templetes文件下的內部實質意義

　　例4：

　　User-agent:baiduspider

　　User-agent:*

　　Disallow:/

　　表達只准許百度蛛蛛抓取網站內部實質意義

　　這處再跟大家分享一下子常見搜索引擎網站蛛蛛的名字，按上頭的辦法施行設置即可：

　　百度：baiduspider

　　谷歌：googlebot

　　搜搜：sosospider

　　alexa：ia_archiver

　　搜狗：sogou+web+spider

　　這處還要提示大家一下子，robots.txt固然設置好了，但我們也給某些殲擊者留下了我們網站關緊文件的位置，提議大家在設置嚴禁抓取的目次時，同時對這些個文件夾設置過訪職權范圍，加向上級反映問password，這麼就可以防止殲擊者隨便殲擊我們網站的關緊文件seo了。

　　熱烈歡迎過載博主各原創文章，請保存筆者信息，謝謝合作!