robots.txt 優化使用

robots.txt文件的功能非常有限,它並不能誘使蜘蛛在你的網站上花費更多的時間或者訪問更多的頁面。但你可以發揮robots.txt文件的作用來對自己的網站進行一定的優化處理。

1. 每當一個用戶試圖訪問一個已經不存在的URL時,服務器就會在日志中記錄一個404錯誤(無法找到文件)。每當蜘蛛來尋找並不存在的robots.txt文件時,服務器也將在日志中記錄一條404錯誤,所以你應該在網站根目錄下添加一個robots.txt文件,哪怕是一個空白的robots文件也好。

2. 使蜘蛛程序遠離某些服務器上的目錄保證服務器性能。避免將所有程序文件被蜘蛛索引,可以節省服務器資源。

3.robots.txt文件裡還可以直接包括在sitemap文件的鏈接。就像這樣:

Sitemap: http:///sitemap.xml //這個通告對百度有一定的作用

Google網站管理員裡有一個分析robots.txt工具,可以幫助我們分析robots.txt是否成功設置瞭阻止Google蜘蛛對特定網頁的訪問,以及robots.txt是否有語法錯誤等等。

1. https:///webmasters/tools/

進入後,選擇你要分析的網站,然後選擇工具》》分析robots.txt

2. 進入後你可以看到有關你網站的robots.txt的基本信息

3.也可以對自己寫的robots.txt文件進行相關的測試,填入你寫的robots.txt文件和要測試的網站(包括被你阻止的地址)保障不出差錯。

我使用的robots.txt

Sitemap: http:///sitemap.xml

User-Agent: *

Disallow: /wp-content/

robots.txt語法:http:///search/robots.html