多的很時刻，你會驚訝的發覺，確實在robots.txt中嚴禁收錄的頁面，卻顯露出來在了搜索引擎網站最後結果列表中，尤其是在site:的時刻最容易發覺。這是你可務必不要張皇，去置疑是否robots.txt語法令規則則寫錯了。
robots.txt裡嚴禁的頁面為何顯露出來在搜索最後結果中
robots.txt嚴禁抓取的文件搜索引擎網站將不過訪，不抓取。但要注意的是，被robots.txt嚴禁抓取的URL仍然有可能顯露出來在搜索最後結果中，只要有導入鏈接指向這個URL，搜索引擎網站曉得這個URL的存在，固然不會抓取頁面內部實質意義，不過有可能以下邊幾種方式顯露在搜索最後結果中：
只顯露URL，沒有題目、描寫。
顯露研發目次或雅虎等幢幢要的條目錄收錄的題目和描寫。
顯露導入鏈接錨書契作為題目和描寫。
之所以這麼處置的關緊端由是，搜索引擎網站固然不搜錄該頁面，但因為有眾多鏈接鏈向這個頁面，因為這個它覺得這個頁面是有價值的，有可能和用戶在這發生的搜索行徑目標相關系近關系，因為這個顯露出來，但為了尊重站長，又不顯露URL的周密信息。
如上所述圖中，谷歌還是將本站的一個跳轉鏈接顯露在搜索最後結果中，並在網址下方提醒因為本站的robots.txt，系統未供給，而最後結果題目不是這個跳轉頁面的<title>，而是鏈接到這個跳轉頁面的錨文本，你可以試試上頭的那一個地址，證驗效果。
怎麼樣真正成功實現嚴禁收錄
這處要談的不是嚴禁收錄，而是嚴禁引得，上面所說的事情狀況就是嚴禁收錄了，但搜索引擎網站還是對網頁施行引得，在用戶需求時回返它覺得靠得住的信息。在已經添加到robots.txt中作為規則在這以後，為了徹底將這些個頁面從搜索引擎網站最後結果列表中去除，我們可以經過以下幾種形式。
1、運用meta robots標簽
在這個不像被收錄(引得)的頁面肥部加上下邊的代碼
<meta name=ROBOTS content=NOINDEX,NOFOLLOW,NOARCHIVE />
那裡面NOINDEX即嚴禁引得本頁，搜索引擎網站中將不會回返本頁作為最後結果。NOARCHIVE指不樹立快照，百度支持它，百度好似暫不支持NOINDEX。NOFOLLOW指蛛蛛不會尾隨本頁內的鏈接接著爬動，也不會傳交本頁的權重。注意一個事情的真實情況，鏈接流動和傳交權重是與嚴禁引得不等於效的，也就是說，假如你只是運用下邊的代碼，那末這個頁面將不會被回返到搜索最後結果中，不過頁面上的鏈接仍然會被蛛蛛爬動，權重仍然會順著他們往下傳交。
<meta name=ROBOTS content=NOINDEX,NOARCHIVE />
2、在鏈接向這個頁面的錨鏈接加rel=nofollow
既是你已經在robots.txt中嚴禁抓取這個頁面，肯定沒想到讓其它鏈接蒞臨這個頁面，因為這個，你可以在鏈接上加上rel=nofollow，這麼蛛蛛就不會再跟著這條鏈接爬到你嚴禁抓取的頁面了，也不會把權重傳到那一個頁面了。然而假如錨鏈接是另外的人寫在它們自個兒的網站裡邊，這就萬不得已了，只能運用第1種辦法。
這種現象對SEO有啥子影響
首先，我們需求明確，到盡頭該不該嚴禁這些個頁面的搜錄。網頁嚴禁收錄的端由有多種，也許你不期望另外的人檢查你的隱私，也許因為網頁的內部實質意義不關緊，也許這個網頁就像我的同樣是一個跳轉頁面，最好不要收錄。可是，這種不收錄是否對SEO有比較好的影響纔是我所關心注視的，假如不收錄造成壞的SEO影響，而那一些頁面也無要緊急重要，那我們就讓它收錄不就可以了。可是，這種不收錄的影響具備兩面性，有時候好，有時候壞，要看怎麼樣操作。
假如因為網頁價值差，而不搜錄頁面，未始不可以，不過假如因為嚴禁了這個網頁的收錄，也就錯過了鏈接流的傳交環節，網站內的鏈接由此斷開了，造成權重傳交在這處中斷甚至於消逝，那末就是壞的影響。例如某一個在線留言頁面，站長感到它不關緊，也不期望那裡面的內部實質意義在搜索最後結果中展出，因為這個嚴禁它收錄了，不過一個網站結構的頁面只有從這個頁面能力進入了，那末這麼的話，這個頁面就萬不得已被搜索引擎網站抓取了，可是正是因為這個頁面把網站結構串連起來，是一個十分關鍵的頁面，這麼一來，網站就面對了很大的虧損。另一種事情狀況是，數量多的網頁鏈接到這個頁面，它集中了數量多的權重，可是你卻規定它不被收seo錄，這麼一來它所取得的這些個權重就耗費了，也不傳交給別的網頁，這就是權重坍縮星。
當然也有好的影響，例如上所述面所說的我的網站的跳轉頁面，我將他們嚴禁收錄在這以後，他們就不會顯露出來在搜索最後結果中，用戶沒可能進入了這種無謂的頁面，更沒可能進入了我的網站，還沒停上半秒鍾就進入了另外的人的網站。額外，我在導入這些個跳轉頁面的鏈接上加了rel=nofollow，既避免了頁面被抓取，也防止了將權重傳交到其它網站。
然而也有人利用這種robots.txt的特別的性質來哄弄搜索引擎網站，例如有人制造了一個H網頁，因為它的內部實質意義曲直常不好的，因為這個他用robots.txt將它掩飾起來，不過又禁不住止收錄，況且在其它網站做了一點外鏈，而這些個外鏈的錨文本與網頁的內部實質意義沒相關系。在這種操作下，便會顯露出來我在上文中給出的那張圖片同樣，搜索最後結果的題目是錨文本的題目，但實際網頁內部實質意義是額外的內部實質意義，以成功實現哄弄搜索引擎網站和用戶的目標。