投身seo優化的辦公擔任職務的人一定要理解Robots.txt ，這是一個符合標准的seoer務必理解的知識。那末,到盡頭robots有啥子需求理解的呢?

　　首先,作為一名符合標准的seo辦公擔任職務的人,一定要理解，Robots.txt是一個協議，而不是一個指示。robots.txt是搜索引擎網站過訪網站的時刻要檢查的第1個文件。robots.txt文件奉告蛛蛛手續在服務器上啥子文件是可以被檢查的，以及啥子文件是不准許被蛛蛛手續抓取的。

　　一般事情狀況下，當蛛蛛蒞臨你的網站往後，首先就是要看根目次下是否存在robots.txt這個文件，假如存在，則蛛蛛遵循robots.txt的協議;假如不存在，則蛛蛛會默許爬取網站的全部文件。

　　理解了這些個，想必大家都理解到robots的關緊性了，那末到盡頭robot的寫法有哪一些要領呢?今日煙臺狐臭之家就談一下子自個兒的一點看法：

　　1. robots.txt務必安放在一個站點的根目次下，並且文件名務必所有小寫.

　　2. 常用指示

　　User-agent: 定義搜索引擎網站的類型

　　Disallow: 定義嚴禁搜索引擎網站收錄的地址

　　Allow: 定義准許搜索引擎網站收錄的地址

　　Sitemap:定義搜索引擎網站爬取的網站地圖的地址

　　3. 對於User-agent的寫法,有點需求注意的方面

　　User-agent: *

　　這處的*代表的全部的搜索引擎網站品類，*是一個通配符。假如要對特別指定的蛛蛛手續施行限止，則需求變更寫法。利於對google蛛蛛添加特別指定的指令，則需求寫成 User-agent: Googlebot ;寫成這麼的的定義類型，下邊再寫針對其的特別協議，如Allow和Disallow等。

　　4. Disallow和Allow作別代表嚴禁抓取seo和准許抓取，在後邊寫相片比本人好看應的地址就可以。如Disallow: /tmp/ ，這麼就是要嚴禁抓取tmp目次了。

　　而對於要尤其限止針對某品類型文件的寫法，則需求理解一下子$ 這個符號了。$ 代表的是般配網址的終了字符，如 /.jpg$ ，這麼的方式就是表達後綴名為jpg的全部文件了。這麼再加上Disallow和Allow指示就可以限止抓取了。

　　5. Sitemap的寫法

　　Sitemap的寫法務必認為合適而使用完全地址，即Sitemap:/map.xml ;寫成這麼的方式能力被蛛蛛讀取，假如寫成相對地址的方式，則會提醒語法不正確。

　　額外，還需求注意的一點兒，就是Sitemap的網站地圖一定要在網站的根目次下纔管用。

　　6. 到現在為止用Robots.txt來限止搜索引擎網站蛛蛛抓取站點內部實質意義的方法只是一種規則，需求搜索引擎網站蛛蛛的合適纔行，並不是每個蛛蛛都所有篤守Robots.txt的。

　　以上6點就是煙臺狐臭之家關於Robots.txt的一點看法，信任會對一點seo生手有一定的幫忙吧。