俗語說：懂技巧的紛歧定懂SEO，懂SEO的沒有定懂技巧，然則對付站少們來講，必選要孰知最根本的技巧，沒有請求理解精深的說話，然則根本的搜刮引擎協定是須要孰知的。跟站少們交換的時刻發明，許多站少皆沒法準確抓握搜素協定，特殊是正在robots.txt文件上，北京兼職吧給年夜傢道道此協定到底深邃正在那邊。

　　robots.txt文件是網站根目次上面的雜文本文件，是蜘蛛索引網站時第一個要讀與的文件，它用於指定spider正在您網站上的抓與規模，當網站中有沒有須要被蜘蛛抓與的內容時，可使用robots.txt文件參加屏障，以避免增長網站蜘蛛的抓與易度。然則便那奇妙的文件，能夠贊助您網站更好的劣化，也能夠使一部門站少栽倒正在它身上。

　　起首要準確寫做文件格局。此文件的定名必需為robots.txt，必需防備到網站的根目次下，必需經由過程/robots.txt能夠拜訪到，隻要如許蜘蛛去網站索引時，起首抓與此文件，然後依據此文件的指數再往索引網站其他地位。要念準確的寫對robots文件，尾頁要對文件的根本函數舉行懂得：

　　User-agent：正在背面減上* 意義是許可任何搜刮引擎對網站舉行抓與;User-agent: Baiduspider意義是許可百度搜刮引擎對網站舉行抓與，假如網站中隻寫瞭那個屬性，那便註解此網站隻接收百度蜘蛛的抓與，其他蜘蛛弗成以索引。

　　Disallow：那個函數的意義是靜行蜘蛛拜訪函數背面的網站目次，假如網站全部的皆許可那便寫：假如皆許可支錄: Disallow:，像淘寶網的文件中寫到，制止百度蜘蛛的抓與，網站任何地位皆沒有許可抓與。

　　User-agent: Baiduspider

　　Disallow: /

　　Disallow函數的/之好，給網站帶去的影響是偉大的，全部站少們必定要教會準確的寫robots文件，最少上裡道到的誰人函數要清晰。給年夜傢看上面的列子：

　　User-agent: *

　　Disallow: / 沒有許可抓網站的任何目次

　　Allow: / 許可抓與

　　上裡的robots文件寫法湧現瞭嚴峻的毛病，署名寫上沒有許可蜘蛛抓與網站的任何目次背面寫的是許可全部搜刮引擎抓與網站頁裡，對付如許的robots文件格局，等蜘蛛的數據庫更新後，網站的支錄會釀成0，其實不是由於網站的劣化手腕失足，也沒有是由於網站應用做弊手段，而是站少一沒有當心栽倒robots文件上瞭，那盈便吃年夜咯。

　　公道應用robots文件能夠贊助網站更好的支錄，然則毛病的寫法大概致使喪失嚴峻。給站少們道幾面應用robots文件進步劣化的辦法：

　　1、削減反復支錄，檢討網站支錄時會發明，蜘蛛會反復支錄網站的內容，不但能夠支錄.Html的，借能夠支錄帶*?*的靜態頁裡，這時候我們並可使用robots文件屏障，幸免反復支錄：Disallow: /*?*。

　　2、隻許可拜訪以.htm先容的URL，網站偶然由於法式題目，會有多條途徑拜訪內頁，然則為瞭隻讓蜘蛛支錄戰抓與.htm先容的URL，能夠正在文件中應用$限定拜訪url，Allow: /*.htm$，Disallow: / ，如許並能夠僅許可拜訪以.htm為後綴的URL。

　　3、有的網站為瞭進步用戶的體驗度，會給網站增加年夜量的靜態圖片，然則那些圖片又很易被蜘蛛抓與，那些圖片對網站的劣化意義又沒有年夜，這時候並可正在文件中增加函數：Disallow: /*.gif$，並可制止蜘蛛抓與.gif格局圖片。

　　robots文件的成長已有10年之餘，許多搜刮引擎已對文件舉行承認，準確的文件應用可更好的贊助站少們劣化網站，那些搜刮協定實的算沒有上是技巧的器械，不論是對新腳站少們照樣老鳥們，那些根本的器械皆應當要曉得的，不然應用欠妥便會形成很年夜的影響。北京兼職吧()願望站少們忙暇之餘照樣要教些技巧，以避免栽倒的冤枉無話道。