剛寫了一篇文回想了新站長們優化過程中容易犯下的小不正確，半中腰提到達robots.txt機器人協議，禁不住就想跟大家商議一下子robots.txt機器人協議的運用技法。網站優化是個長時期的辦公，同時也是一個相互作用的辦公，閉門造車的站長不會是一個好站長，所以期望大家能多多交流。不充足之處，請斧政。

　　廢話無幾說，咱們著手進入了主題。robots.txt機器人協議大家都曉得是為了規范蛛蛛爬動而設定的，大家普通會在那裡面常理性的嚴禁蛛蛛爬動data、tmp這些個目次，也會嚴禁其爬動會員、訂單、倉儲等等板塊。但除開這些個常理用處以外，robots.txt機器人協議對我們優化辦公實際上，還有眾多小技法可以合適運用，讓我們的網站優化辦公更好施行。

　　一、經過嚴禁爬舉動態頁或某些頁面，減損重復收錄

　　首先就是眾多人都曉得的嚴禁蛛蛛爬舉動態頁，減損整個兒網站的重復收錄問題。益處就是利於整個兒網站內部實質意義頁面的權重集中，不由得易由於重復收錄造成內部實質意義頁面權重散布等等。這是這個技法對與常理網站的普通意義，不過對於商城站、資訊站、問答站等大型網站，這種規范意義卻曲直常大的。

　　1、商城、B2B等大型網站條件過淋頁

　　在商城、B2B等大型網站中，每常會牽涉到到條件過淋的問題，即經過刪選產品的規格、品牌等會顯露出來數量多相仿頁面。如果這個問題來不得效解決便會導致網站數量多相仿內部實質意義被重復收錄等等，普通而言這種問題可以經過使用應針對行的施行一點URL屏蔽辦公，還是思索問題認為合適而使用ajax方式。但效果而言，沒有直接運用robots.txt機器人協議效果好，引薦仍然在URL靜態化規則做好的基礎上經過robots.txt嚴禁抓取動態頁面來施行處置。

　　2、資訊站述評頁面

　　資訊站頁面述評跟條件過淋頁相仿，也需求經過robots.txt合適URL規則設置屏蔽掉動態頁面，避免重復收錄等問題。

　　3、其它大致相似事情狀況

　　在B2B、誠聘、威客網站之中也會有大致相似的問題，這些個事情狀況都可以運用robots.txt來管用的規范蛛蛛爬動，因此躲避重復收錄等等。

　　二、引誘蛛蛛爬動關緊頁面，增長蛛蛛爬動速率

　　這個小技法主要是合適網站地圖和聚合葉標seo簽運用，為的是給這些個關緊頁面供給更多入口便捷蛛蛛爬動。網站地圖、聚合葉標簽假裝的列表頁等等是蛛蛛爬動最為敏捷便捷的地方，經過robots.txt協議中Allow指示的運用，讓蛛蛛優先爬動這些個頁面，天然收錄事情狀況也就更好。

　　三、調試網站權重分配

　　經過robots.txt協議可以管用的調試網站的群體權重，合適nofflow標簽等運用將權重導向網站的重點欄目還是重點頁面，達到合理分配整站權重的效用。

　　四、蹭別球作法

　　在增長網站有關度的一種首發中，就是利用robots.txt協議。其在根目次中防置數量多的TXT文檔，在TXT文檔中鑲嵌大量量的網站關鍵詞，而後經過robots.txt引誘蛛蛛去爬動這些個目次。當然這處不是讓大家也這樣做，畢竟黑帽手眼不永久，咱們說的是安全的小技法。

　　這處不曉得有沒有站長的網站被掛馬過，尤其是被寄生蟲肆意過的站長更是很悲憤吧。然而咱們換個思考的線索看，寄生蟲這種辦法，也未始不是我們做網頁收錄的一個好方法。即經過預設一點頁面模版，而後經過手續批量生成數量多頁面，將這些個頁面依照規則安放到對應的新目次中，經過robots.txt引誘蛛蛛爬動，收錄效果也很不賴。當然，這種手眼做的話，頁面模版務必做的很優生員可以，不然將會非常大的影響用戶體驗認識，期望站長們注意。