道到屏障搜刮蜘蛛的抓與，天然而然的便會念到robots.txt文檔。robots.txt是甚麼？實在正在此前惠州SEO葉劍輝也已對此舉行瞭基本的解釋。robots.txt是一種寄存正在網站空間根目次下的文本文件，是一種協定，用去告知搜刮蜘蛛網站中哪些可被匍匐抓與，哪些弗成被匍匐抓與。但是，正在那裡，葉劍輝有著那麼一個疑問，robots.txt是不是能完全屏障蜘蛛的匍匐抓與呢？

robots.txt能屏障蜘蛛的匍匐抓與
克日，石友襄陽SEO茶妹碰到瞭那麼一個題目：“我明顯用robots.txt屏障瞭wordpress中的目次文件呀，為何蜘蛛逐日仍舊照舊匍匐呢？”爾後，葉劍輝天然便查網站robots.txt文檔，以下就是對wordpress目次屏障設置：
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
正在檢察事後，發明瞭那麼一個題目，那是目次文件屏障，但是，那屏障設置後邊卻好像缺乏瞭/，而葉劍輝舉行征詢時，石友倒是那麼以為：“目次文件前邊減上瞭/便可以瞭，後邊減沒有減皆一樣的呀”。對此，葉劍輝倒是另外一種意見，正在後邊減上取已減上/,對付蜘蛛而行是兩種觀點，減上瞭是告知蜘蛛，那是一個文件夾，而已減上即告知蜘蛛那是一個文件，也是以致使明顯正在robots.txt上做好瞭設置，卻出能有用的屏障。固然那僅僅是葉劍輝的小我意見。
繼而，石友服從發起將robots.txt修正為：
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
勝利修正後便正在百度站少仄臺舉行提交重**成操縱(須要留意的是，若沒有自動提交天生，靠蜘蛛自止臨盆的話，耗時較少的喔)，正在當天也便見效瞭。隔往後再對日記舉行檢察，發明蜘蛛對那三個wordpress下的目次實的沒有再匍匐抓與瞭。
從那麼一面上看，正在我們舉行網站SEO劣化之時，實在不克不及疏忽任何細節，僅僅一個/，可帶去的倒是紛歧樣的後果。

robots.txt不克不及完全屏障蜘蛛的匍匐抓與
而正在那一題目辦理後，石友正在那文件屏障上卻又有瞭另外一題目：“明顯把某個目次屏障瞭呀，為何蜘蛛照樣可以或許抓與支錄該目次下的某個文件呢？”
那末，正在那裡葉劍輝便須要做一個解釋，robots.txt協定並不是是一個尺度，一個范例，隻是商定雅成罷瞭而已，平日搜刮引擎會辨認那個文件，但也有一些特別情形。（如之前的360事宜便沒有做為此次評論辯論內容）
不管是百度亦或是谷歌，某個頁裡隻要有其他網站鏈接到該頁裡的話，一樣有大概會被索引戰支錄。要念完全屏障頁裡文件被谷歌索引的話（縱然有其他網站鏈接到該頁裡文件），則須要正在頁裡head中插進noindex元標志或x-robots-tag。以下：
<meta name=”谷歌bot” content=”noindex”>
當谷歌蜘蛛看到頁裡上著noindex的元標志，便會將此頁從谷歌搜刮成果中完整拋棄，疏忽是不是另有其他頁鏈接到此頁。
而百度呢？對付百度而行，其實不支撐如谷歌那般經由過程noindex完整將網頁從索引上刪除，僅支撐noarchive元標志去制止百度表現網頁快照。詳細語句以下：
<meta name=”Baiduspider” content=”noarchive”>
上裡那個標志隻是制止百度表現該頁裡快照，但百度仍會為其建索引，並正在搜刮成果中表現網頁擇要。
盡人皆知，淘寶網經由過程robots.txt齊站屏障百度蜘蛛，可為何我們正在百度搜刮淘寶網時第一個成果也是淘寶網尾頁地點呢？而正在我們檢察該頁裡快照時倒是表現空缺？是以看去，網站隻能制止百度快照的表現，卻沒法做到制止百度為網頁建索引。

停止語：
回到葉劍輝正在文章尾段所道到的疑問，robots.txt是不是能完全屏障蜘蛛的匍匐抓與呢？信任正在看到那麼一個題目,會有那麼一部門同夥的答復是確定的。而那隻能道，我們皆缺乏瞭擅長往發明的心，而對付出能有用屏障蜘蛛抓與，隻能解釋我們的劣化事情做得不敷精致。
由那麼兩個robots.txt的小題目上，葉劍輝以為，阻攔我們進階為SEO妙手的大概就是那擅長發明題目的心戰精致化的履行力。
本文出自惠州SEO專客 /搜索引擎優化/823.html 葉劍輝本創供稿。