Robots.txt帶來的益處與害處

Robots.txt 帶來的益處：

 

1. 幾乎全部的搜索引擎網站 Spider 都遵循 robots.txt 給出的爬動規則，協議規定搜索引擎網站 Spider 進

 

入某個網站的入口即是該網站的 robots.txt，當然，前提是該網站存在此文件。對於沒有配備布置robots.txt 的網站，Spider 將會被重定向至 404 不正確頁面，有關研討表明，假如網站認為合適而使用了自定義的 404 不正確頁面，那末 Spider 將會把其視作 robots.txt——固然其並非一個完全的文本文件——這將給 Spider 引得網站帶來非常大的圍困並攪擾，影響搜索引擎網站對網站頁面的收錄。

 

2. robots.txt 可以制止不不可缺少的搜索引擎網站佔用服務器的珍貴帶寬，如 email retrievers，這類搜索

 

引擎對大部分數網站是無謂的;再如 image strippers，對於大部分數非圖形類網站來說其也沒有太大意義，但卻耗用數量多帶寬。

 

3. robots.txt 可以制止搜索引擎網站對非公開頁面的爬動與引得，如網站的後臺手續、管理手續，事情的真實情況上，對於某些在運行中萌生臨時頁面的網站來說，假如未配備布置 robots.txt，搜索引擎網站甚至於會引得那一些臨應試文章件。

 

4. 對於內部實質意義浩博、存在眾多頁面的網站來說，配備布置 robots.txt 的意義更為重大，由於很很長時間候

 

其會遭到了搜索引擎網站 Spider 給與網站的很大壓力：洪水般的 Spider 過訪，假如不加扼制，甚至於會影響網站的正常過訪。

 

5. 一樣地，假如網站內存在重復內部實質意義，運用 robots.txt 限止局部頁面不被搜索引擎網站引得和收錄，可以防止網站遭受搜索引擎網站關於 duplicate content 的辦罪，保障網站的名次不受影響。

 

robots.txt 帶來的風險及解決：

 

1. 凡事有幫助必有弊，robots.txt 同時也帶來了一定的風險：其也給殲擊者指清楚網站的目次結構和私密數值存在的地方的位置。固然在 Web 服務器的安全處理辦法配備布置允當的前提下這不是一個嚴重

 

的問題，但畢竟減低了那一些不懷美意者的殲擊困難程度。

 

譬如說，假如網站中的私密數值經過 過訪，那末，在 robots.txt 的設置有可能如下所述：

 

User-agent: *

 

Disallow: /SEO/

 

這麼，殲擊者只需看一下子 robots.txt 即可知你要掩飾的內部實質意義何在，在瀏覽器中輸入

 

更名為其它，譬如說 abc-protect.html，這麼，該內部實質意義的地址即成為 文件，內部實質意義大概為你沒有職權范圍過訪此頁什麼的，這麼，殲擊者因不知實際的文件名而沒有辦法過訪私密內部實質意義。

 

2. 假如設置錯誤，將造成搜索引擎網站將引得的數值所有刪去。

 

User-agent: *

 

Disallow: /

 

上面所說的代碼將嚴禁全部的搜索引擎網站引得數值。