俗語說的好：懂技術的不盡然懂SEO，懂SEO的不穩定懂技術，不過對於站長們來說，必選要孰知最基本的技術，不要求知道深奥的語言，不過基本的搜索引擎網站協議是需求孰知的。跟站長們交流的時刻發覺，眾多站長都沒有辦法准確抓握搜素協議，尤其是在robots.txt文件上，北京兼職吧給大家說說此協議到盡頭高深在何處。

　　robots.txt文件是網站根目次下邊的純文本文件，是蛛蛛引得網站時第1個要讀取的文件，它用於指定spider在您網站上的抓取范圍，當網站中有不必被蛛蛛抓取的內部實質意義時，可以運用robots.txt文件參加屏蔽，免得增加網站蛛蛛的抓取困難程度。不過就這非常奇妙的文件，可以幫忙你網站更好的優化，也可以使一小批站長栽倒在它身上。

　　首先要准確寫文章文件款式。此文件的起名稱務必為robots.txt，務必避免到網站的根目次下，務必經過/robots.txt可以過訪到，只要這麼蛛蛛來網站引得時，首先抓取此文件，而後依據此文件的指數再去引得網站其它位置。要想准確的寫對robots文件，首頁要對文件的基本函數施行理解：

　　User-agent：在後面加上* 意思是准許不論什麼搜索引擎網站對網站施行抓取;User-agent: Baiduspider意思是准許百度搜索引擎網站對網站施行抓取，假如網站中只寫了這個屬性，那就表明此網站只接納百度蛛蛛的抓取，其它蛛蛛不行引得。

　　Disallow：這個函數的意思是靜止蛛蛛過訪函數後面的網站目次，假如網站全部的都准許那就寫：假如都准許收錄: Disallow:，像淘寶網的文件中寫到，嚴禁百度蛛蛛的抓取，seo網站不論什麼位置都不准許抓取。

　　User-agent: Baiduspider

　　Disallow: /

　　Disallow函數的/之差，給網站帶來的影響是很大的，全部站長們必須要學會准確的寫robots文件，至少上頭說到的那一個函數要明白。示眾下邊的列子：

　　User-agent: *

　　Disallow: / 不准許抓網站的不論什麼目次

　　Allow: / 准許抓取

　　上頭的robots文件寫法顯露出來了嚴重的不正確，寫名字寫上不准許蛛蛛抓取網站的不論什麼目次後面寫的是准許全部搜索引擎網站抓取網站頁面，對於這麼的robots文件款式，等蛛蛛的數值庫更新後，網站的收錄會成為0，並不是由於網站的優化手眼出錯，也不是由於網站運用作弊手法，而是站長一不謹慎栽倒robots文件上了，這虧就吃大咯。

　　合理利用robots文件可以幫忙網站更好的收錄，不過不正確的寫法有可能造成虧損嚴重。給站長們說幾點利用robots文件增長優化的辦法：

　　1、減損重復收錄，查緝網站收錄特殊情況發覺，蛛蛛會重復收錄網站的內部實質意義，不止可以收錄.Html的，還可以收錄帶*?*的動態頁面，這時我們並可以運用robots文件屏蔽，防止重復收錄：Disallow: /*?*。

　　2、只准許過訪以.htm紹介的URL，網站有時候由於手續問題，會有多條途徑過訪內頁，不過為了只讓蛛蛛收錄和抓取.htm紹介的URL，可以在文件中運用$限止過訪url，Allow: /*.htm$，Disallow: / ，這麼並可以僅准許過訪以.htm為後綴的URL。

　　3、有的網站為了增長用戶的體驗認識度，會給網站添加數量多的動態圖片，不過這些個圖片又很難被蛛蛛抓取，這些個圖片對網站的優化意義又半大，這時並可在文件中添加函數：Disallow: /*.gif$，並可嚴禁蛛蛛抓取.gif款式圖片。

　　robots文件的進展已經有10年之餘，眾多搜索引擎網站已經對文件施行許可，准確的文件運用可更好的幫忙站長們優化網站，這些個搜索協議實在算不上是技術的物品，無論是對生手站長們仍然老鳥們，這些個基本的物品都應當要曉得的，否則運用不合適就會導致非常大的影響。北京兼職吧(http://bj.jianzhi8.com)期望站長們閑空之餘仍然要學些技術，免得栽倒的抱怨無話說。