作為一名網站優化擔任職務的人，我們都很明白Robots.txt文件對我們網站的關緊性，Robots.txt文件只是一個純文本文件，它就像網站地圖同樣，給搜索引擎網站指明道路，當蛛蛛搜索一個站點時，它首先爬動來查緝該網站的根目次下是否存在Robots.txt文件，假如存在的話，搜索引擎網站會依照該文件的內部實質意義來確認過訪范圍，假如該文件不存在的話，那末搜索引擎網站便會沿著鏈接來抓取。那末程序開發人員在設置Robots.txt文件時刻應當理解到這個文件給我們網站帶來了哪一些益處?

　　第1， Robots.txt文件大大節約服務器寬帶

　　我們都曉得像email retrievers、image strippers這類搜索引擎網站都耗用數量多寬帶，並且對網站沒有啥子太大的意義，而經過Robots.txt就可以制止不不可缺少的爬動辦公，假如你的網站是圖片站的話，沒有設置好Robots.txt文件的話，便會耗費數量多的服務器寬帶。

　　第二、便捷搜索引擎網站爬起辦公

　　假如你的網站內部實質意義浩博，頁面眾多，設置Robots.txt文件更為關緊，譬如你有個網站，整個兒站有50多個G，敞開頁面有可能會比較慢，假如不相配備布置好Robots.txt文件的話，蛛蛛爬動辦公便會很費勁，並且假如非常多的蛛蛛爬動，以至會影響你網站的正常過訪。

　　第三、robots.txt文件可以制止搜索引擎網站引得頁面

　　你可以經過RobotS.txt文件對你的網站非公開頁面施行制止蛛蛛爬動，假如你的網站後臺手續、管理手續很關緊沒想到讓另外的人看見、那末你可以經過Robots.txt施行設置，事情的真實情況上，對於某些在運行中萌生臨時頁面的網站來說，假如沒有配備布置Robots.txt文件的話，搜索引擎網站甚至於會引得那一些臨應試文章件。

　　第四、robots.txt對網站地圖鏈接關緊性

　　假如我們把自個兒的網站地圖鏈接放在robots.txt文件裡，那末我們每日就無須到各個搜索引擎網站的站長工具還是相仿的站長局部去提交處理自個兒的sitemap文件，各大搜索引擎網站都宣布了對網站地圖的新的支持形式，就是在robots.txt文件裡直接涵蓋sitemap文件的鏈接。到現在為止對此表達支持的搜索引擎網站企業有Google， Yahoo，而漢字搜索引擎網站企業，顯然不在這個圈子內。

　　這麼做的益處就是我們可以無須每日去各大搜索引擎網站去提交處理自個兒的sitemap文件，可以減損我們的一小批辦公量，和睦快樂而不為呢?