不要妄想用robots.txt文件來來阻擋百度的收錄

  這是我用我的真實經歷奉告大家,有圖有真像。在這之前我和在坐的各位同樣,以為寫個robots.txt就萬事大吉了,就可以心情安定的調整網站了。但往往要等百度收錄了纔懊悔,原來當時自個兒錯了,robots.txt寫嚴禁收錄的規則對百度沒用。

  ps直接上圖先,大家審視圖,重點看域名,假如不是看域名的話,估計你會把這快照料成是新浪首頁的快照呢!看見這處有可能有的站長要迷惑了,有的站長要笑。大家一定渾如曉得這種事情狀況是怎麼樣導致的吧?

  實際上就是這樣,那天我也就是想去測試下自個兒買的集群主機的速度如何,於是下載了個新浪首頁上放到空間上綁定後行了測試。最後結果測完後就甩了個robots.txt文件上去,本就以為這麼就可以萬事大吉了,誰曉得度娘她不吃這一套,對我的站那是照收不誤。最後結果就這麼悲劇了,我如今還不曉得,假如我新站上線後那直接就是另一個站了,我如今還整天擔心假如要是直接上新站的話,度娘會把我K了,還是降權呢!

  如今沒轍,諮詢了下我蕭涵老師後,他老人煙奉告我,首頁題目裡加了個
;如今還好百度休止更新快照了。

  後來又找了些資料,剖析了下原來是新站上外鏈惹的禍,由於之前沒注意看百度官方對這文件給的紹介。在百度搜索幫忙核心-嚴禁搜索引擎網站收錄的辦法中第三條中這麼寫到:我在robots.txt中設置了嚴禁百度收錄我網站的內部實質意義,為什麼還顯露出來在百度搜索最後結果中?答:假如其它網站鏈接了您robots.txt文件中設置的嚴禁收錄的網頁,那末這些個網頁還是有可能會顯露出來在百度的搜索最後結果中,但您的網頁上的內部實質意義不會被抓取、建入引得和顯露,百度搜索最後結果中展覽的僅是其它網站對您有關網頁的描寫。

  所以咱們站長必須要注意了,假如大家在新站調整時期想要讓網站不被顯露在百度快照上的話,在網站建設時期請不要把域名地址放在百度蛛蛛有可能會爬動的地方,例如大部份站長最喜歡設置的論壇個性寫名字裡,這麼有時會沒察覺中就把外鏈又散發去了。