Robots.txt文件是一個簡單的TXT文本，不過專注網站建設及網站優化的Seoer們都明白它的關緊性，它的存在可以將不期望搜索引擎網站抓取的頁面屏蔽起來，也可以像是一張地圖同樣為蛛蛛帶路指航。當蛛蛛爬動到一個站點時，首先過訪的便是是否存在Robots.txt文件，而後依照內部實質意義中的指點引導來施行引得過訪，假如文件不存在的話那末就依照頁面中的鏈接施行順著次序的過訪。因為這個我們可以利用它來屏蔽一點不必搜索引擎網站要引得的目次，還是將網站地圖在Robots.txt中描寫指導蛛蛛爬動，這麼對於網站安全性上還是節約服務器帶寬以及指導引得都是十分給力的，可謂是達到達揚己之長避己之短的效果，以下我們做以具體剖析：

　　一、利用Robots.txt節約服務器帶寬

　　普通來說站長很少去做這麼一個設置，不過當服務器過訪量大內部實質意義過於多的話就有不可缺少做一個設置來節約服務器的帶寬，如屏蔽：image這麼的文件夾，對於搜索引擎網站引得來說沒有啥子實際性的意義還耗費了數量多的帶寬。假如對於一個圖片網站來說，耗費更是令人吃驚的，所以利用Robots.txt可以充分解決這一點兒。

　　二、盡力照顧網站安全目次

　　普通來說在設置Robots.txt時都要把管理目次以及數值庫、備案目次設置進去，進制蛛蛛的爬動，否則容易導致數值的泄漏影響網站的安全。當然還有一點管理員不期望蛛蛛引得的其它seo目次，一樣可以將其施行設置，這麼來說搜索引擎網站就可以嚴明的篤守這個規則來施行引得。

　　三、嚴禁搜索引擎網站引得頁面

　　一個網站總有一點不期望公眾看見的頁面，這個時刻我們可以用Robots.txt來施行設置，防止蛛蛛對其引得，如前段日期作者網傳動比較慢最後結果更新了一篇文章，造成蟬聯重再次發作布了3次，最後結果所有被搜索引擎網站引得，怎麼辦呢？重復的內部實質意義定然對網站優化曲直常不好的，這會兒便可以經過設置Robots.txt來將駢枝的頁面屏蔽掉。

　　四、Robots.txt鏈接網站地圖

　　因為蛛蛛過訪網站首先檢查的便是Robots.txt這個文件，那末我們可以將網站地圖設置進去，更有幫助於蛛蛛引得最新的信息，而少走很多抱怨路。如顯露專業網站建設企業引航科學技術的地圖頁：/ sitemap.xml這麼加到Robots.txt中更是有幫助於搜索引擎網站的引得。也無須每日麻草煩的到搜索引擎網站提交處理地圖文件，不是很簡單方便嗎？

　　五、寫法及注意事情的項目

　　對於Robots.txt寫法必須要規范，寫法上忽略不經意的人並不在少量。首先來說：User-agent:*是一定要寫的，*表達針對全部搜索引擎網站。Disallow:（文件目次）不涵蓋括號，表達嚴禁搜索引擎網站引得的意思，一下子舉個例子具體解釋明白：

舉出例子1：
　　User-agent:*
Disallow:/
表達嚴禁不論什麼搜索引擎網站引得過訪，

舉出例子2：

User-agent:*
Disallow:/seebk
表達嚴禁搜索引擎網站引得過訪seebk目次

舉出例子3：

　　User-agent:baiduspider
　　User-agent:*
　　Disallow:/

表達只准許百度蛛蛛堆砌引得過訪：百度：baiduspider，谷歌：googlebot，搜搜：sosospider，alexa：ia_archiver，雅虎：Yahoo Slurp
舉出例子4：

User-agent：*
Disallow：.jpg$

避免盜鏈jpg圖片，假如你的帶寬足夠的話可以不設置。

後語：優化Robots.txt揚己之長避己之短，做好Robots.txt更易網站順利通暢優化進展，本文原創作撰！