各大搜索引擎都發佈瞭對網站地圖的新的支持方式,就是在robots.txt文件裡直接包括sitemap文件的鏈接。目前對此表示支持的搜索引擎公司有Google, Yahoo,而中文搜索引擎公司,顯然不在這個圈子內。
這樣做的好處就是,站長不用到每個搜索引擎的站長工具或者相似的站長部分,去提交自己的sitemap文件,搜索引擎的蜘蛛自己就會抓取robots.txt文件,讀取其中的sitemap路徑,接著抓取其中相鏈接的網頁。
這裡基於一個假設,robots.txt已然是一個標準,所有的網站至少都有一個,而sitemap還正在建立標準中,這樣的做法,可以讓站長減輕工作,而且如果他們不需要更為詳細的索引和搜索的資料的話,那麼就隻需要包括sitemap到robots.txt就可以瞭。
讓我們現在就開始動手,修改robots.txt文件。
# # robots.txt for xxx.com # Version 2009.04.04 # User-agent: * Disallow: /function/ Disallow: /FCKeditor/ Disallow: /CACHE/ Disallow: /SCRIPT/ Disallow: /ADMIN/ Disallow: /wap.asp Disallow: /cmd.asp Sitemap: /sitemap.xml |