A5優化小組系列一:不正確的robots.txt 百度K站沒有回旋的餘地

A5優化小組系列一:不正確的robots.txt 百度K站沒有回旋的餘地

信任眾多站長都很明白robots.txt文件,robots.txt是搜索引擎網站中過訪網站的時刻要檢查的第1個文件,Robots.txt文件奉告蛛蛛手續在服務器上啥子文件是可以被檢查的。HKSEO優化小組http://seo.admin5.com/覺得robots.txt文件關緊效用就是robots.tx可以屏蔽重復的內部實質意義收錄,防止同一個網頁被百度收錄N次。robots.txt固然很是關緊,不過很少有站長能夠准確配備布置偽靜態文件,縱然是大公司大人物的網站,也很難准確配備布置好robots.txt。

譬如康盛創想宣布的Discuz!X1.0論壇版本,當初眾多站長運用Discuz!X1.0造成百度收錄數目劇增,但帖子數目沒增加,HKSEO優化小組通過各個方面檢驗測定Discuz!X1.0發覺,同一個帖子可以運用五個以上的不一樣網址過訪,但robots.txt並沒有屏蔽掉重復的網址,造成網站收錄數目劇增,最終眾多運用Discuz!X1.0版本的論壇被百度毫不留情的K掉。HKSEO優化小組為了幫忙運用Discuz!X1.0的站長,第1時間在Discuz!論壇宣布了准確的robots.txt配備布置文件,HKSEO優化小組同時結合康盛創想官方反響robots.txt存在的問題。康盛創想積極聆取了HKSEO優化小組意見,在Discuz!X1.5及更新版本中,HKSEO優化小組發覺康盛創想已經幾乎完美配備布置了robots.txt。

譬如聞名SEO資深專家ZAC的博客,是運用的wordpress博客系統樹立的,由於robots.txt沒有配備布置好,造成每篇博文,收錄幾十次甚至於上百次,HKSEO優化小組經過檢驗測定ZAC的博客發覺,只要博文被述評一次,就有可能被百度一次博文,假如一篇博文被述評一百次,那末這篇博文就有可能被百度收錄一百次。是何故造成ZAC博客嚴幢幢復收錄呢?HKSEO優化小組發覺,幾乎全部重復收錄的網頁的網址後面都存在?replytocom=****,replytocom是博客的一個參變量,****是代表數碼,只是數碼不一樣,為何會顯露出來這種現象?這是由於百度蛛蛛電子掃描ZAC博客的replytocom參變量的頁面replytocom 相當無用。ZAC博客應當怎麼樣解決這種重復收錄呢?HKSEO優化小組覺得,既是ZAC博客施行了偽靜態,就應當把全部動態網址屏蔽掉,robots.txt文件增加一行:Disallow: /*?*即可解決ZAC博客重復收錄現象。

  HKSEO優化小組自打供給SEO診斷優化服務以來,發覺眾多網站存在網頁數量多重復收錄現象,不少網站由於內部實質意義重復收錄,被百度直接K掉,毫不留情。實際上只要我們網站准確配備布置好robots.txt文件,足以防止網站內部實質意義重復收錄。(HKSEO優化小組唐世軍實際作戰原創,QQ:9600918)