Robots.txt阻擋引得15天後各搜索引擎網站的表達

Robots.txt阻擋引得15天後各搜索引擎網站的表達

今年前一年十月份兒的時刻做了一個女裝方面的網站,由於收益方面不太吉祥器物,於是表決拋棄不用用來做個博客寫日志,捎帶腳兒做個嘗試,看看各主流搜索引擎網站的表達。本文主重要的條目的是想看一下子一直存在爭議的robots協議在各大搜索引擎網站中的份量,權當娛樂。具徒手體操作過程就是這樣,改版當天著手在robots.txt添加如下所述語句:

User-agent: *

Disallow: /

這次改版並未改易手續,Asp語言的zblog手續,只是改易了一套模型板,首頁、分類、文章頁面的布局有較大的差別,新建了幾個新分類,而後刪去服務器上的靜態文章目次。在這以後是維持每日一篇純原創的頻率更新內部實質意義,經歷多次15天,經過site指令查問獲得各搜索引擎網站的表達,如下所述:

1、Google搜索引擎網站

 

以下是我仔細查看獲得的一點信息:

內頁收錄變動尤其慢,3000多的收錄,還有1600多條。首頁地址也還在,不過不顯露description信息,只提醒因為此網站的 robots.txt,系統未供給關於該最後結果的解釋明白。沒有收錄新內部實質意義。

2、百度搜索引擎網站

 

以下是我仔細查看獲得的一點信息:

百度方面反響也比較慢。起初收錄了40頁,如今還有10頁,首頁已經沒了,快照沒了。也沒有收錄新內部實質意義。

3、360綜合搜索

 

以下是我仔細查看獲得的一點信息:

內頁無啥子變動,收錄一直維持在500多頁,只是首頁快照更新趁早,維持隔天快照,沒有新內部實質意義收錄。

4、搜狗搜索

 

以下是我仔細查看獲得的一點信息:

內頁收錄已經所有刪去,只餘一個首頁。快照更新不迅速,且題目不更新。不收錄內頁。

5、soso搜索

 

以下是我仔細查看獲得的一點信息:

收錄沒有啥子大的變動,首頁快照更新趁早,並小量收錄內頁。綜合以上信息來看,各搜索引擎網站的表達都半大相同。

谷歌、百度兩大巨頭固然說篤守robots.txt協議,不過在刪去已有收錄內部實質意義方面仍然比較慢,可謂是不靈敏。新內部實質意義是倒是按著robots協議不再收錄。360綜合搜索以及soso搜索則有些不鳥啥子robots協議,舊的收錄沒刪去,快照仍然照樣更新趁早,間或還收錄點新內部實質意義。搜狗居然反響猛烈,刪去開內頁,停了快照,仿佛好象最篤守robots.txt協議,有些搞笑。

熱烈歡迎交流