啥子是網站robots?它是是一個協議，而不是一個指示。

　　作為學習或投身網站SEO優化的朋友肯定曉得搜索蛛蛛，但對於這個搜索蛛蛛遵循協議，卻不常聽說。robots是抓取網站時第1個檢查的文件。它用來奉告蛛蛛手續在服務器空間上啥子文件是可以被抓取的，啥子文件是不必被抓取的。也正因這麼，用好robots是很容易為讓你的網站提權的，那是怎麼樣寫的呢?

　　

　　1.防止網站存在重復頁

　　不少網站一個內部實質意義供給多種瀏覽版本，固然在非常大程度便捷用戶，增長了用戶體驗認識度，可對蛛蛛卻導致了些須艱難，由於蛛蛛難於辨別主次，一朝讓它覺得你在惡意重復，那末輕則降權，重則K站拔毛呀。

　　User-agent： *

　　Disallow： /sitemap/ 《嚴禁蛛蛛抓取文本頁面》

　　擴展閱覽：《惠州SEO博客K站之謎》 (葉劍輝也曾在博客上線之初也因大致相似問題而被k，具體可看鏈接)

　　2.盡力照顧網站安全

　　也許有點人會有大大的問號。robots與網站安全怎麼就拉seo上關系了?這就要說到黑客了，不少低級黑客就是經過搜索默許後臺登陸，以達到侵入國網站的目的，因為這個安全只得防呀。

　　User-agent： *

　　Disallow： /admin/ 《嚴禁蛛蛛抓取admin目次下全部文件》

　　擴展閱覽：《WordPress手續安全設置技法 》(本人也曾受到殲擊，因為這個安全問題姑且有細節也不由得不重視，具體可檢查葉劍輝博客)

　　3.避免鏈接被挪用

　　普通盜鏈的並不是很多
，可是一朝被搜索引擎網站盜鏈了，那末百兆寬帶恐怕也受不了呀，因為這個要不是做圖片網站，又想防止被盜鏈，那末即可施行屏蔽。

　　User-agent： *

　　Disallow：.jpg$

　　4.提交處理網站地圖

　　對於如今做網站SEO優化的朋友，都知道做網站地圖，可總會有那麼一些朋友不知道去提交處理的，僅只以為在網頁上加個鏈接，便完事了。實際上robots是具備提交處理這一功能的，一下子以惠州SEO博客為例。

　　Sitemap: (需求注意的是，Sitemap的S需為大寫字母)

　　5.嚴禁某二級域名的抓取

　　一點網站會對會員供給一點VIP特別的權利服務，卻又沒想到這個服務被搜索引擎網站檢索到(一樣的，css及js等二級目次文件不必被抓取也可一樣這麼)

　　User-agent： *

　　Disallow： /