站長的辦公是預設精致美好的網站，為大眾展出網站浩博多彩的內部實質意義。當然，我們也期望專心預設的網站取得理想的名次，這就要求我們去研討搜索引擎網站名次規律，極致的取得機緣展出給客戶。不過，搜索引擎網站品類眾多，有時，我們對某一種搜索引擎網站的名次美好，卻在額外的搜索引擎網站上頭取得不到同樣的名次，端由是各個搜索引擎網站規則不同。為此，有人復制出相同的內部實質意義以對付不一樣搜索引擎網站的名次規則。不過，一朝搜索引擎網站發覺站內有數量多克隆的頁面，便會授予辦罪，不收錄這些個重復的頁面。另一方面，我們網站的內部實質意義歸屬私人私密文件，沒想到顯露在搜索引擎網站中。這時，robot.txt就是為理解決這兩個問題。
一、搜索引擎網站和其對應的User-Agent
那末，到現在為止有哪一些搜索引擎網站和其對應的User-Agent呢?下邊，我列出了一點，以供參照。
搜索引擎網站 User-Agent
AltaVista Scooter
baidu Baiduspider
Infoseek Infoseek
Hotbot Slurp
AOL Search Slurp
Excite ArchitextSpider
Google Googlebot
Goto Slurp
Lycos Lycos
MSN Slurp
Netscape Googlebot
NorthernLight Gulliver
WebCrawler ArchitextSpider
Iwon Slurp
Fast Fast
DirectHit Grabber
Yahoo Web Pages Googlebot
Looksmart Web Pages Slurp
二、robots基本概念
Robots.txt文件是網站的一個文件，它是給搜索引擎網站蛛蛛看的。搜索引擎網站蛛蛛爬動道我們的網站首先就是抓取這個文件，依據裡邊的內部實質意義來表決對網站文件過訪的范圍。它能夠盡力照顧我們的一點文件不顯露在搜索引擎網站之下，因此管用的扼制蛛蛛的爬取途徑，為我們站長做好seo發明不可缺少的條件。特別是我們的網站剛纔開創，有點內部實質意義還不完備，短時間之內還沒想到被搜索引擎網站收錄時。
robots.txt也可用在某一目次中。對這一目次下的文件施行搜索范圍設定。
幾點注意：
網站一定要有一個robot.txt文件。
文件名是小寫字母。
當需求絕對屏蔽文件時，需求合適meta的robots屬性。
三、robots.txt的基本語法
內部實質意義項的基本款式：鍵: 值對。
1) User-Agent鍵
後面的內部實質意義對應的是各個具體的搜索引擎網站爬動器的名字。如百度是Baiduspider，谷歌是Googlebot。
普通我們這麼寫：
User-Agent: *
表達准許全部搜索引擎網站蛛蛛來爬動抓取。假如只想讓某一個搜索引擎網站蛛蛛來爬動，在後面列出姓名即可。若是多個，則重復寫。
注意：User-Agent:後面要有一個空格。
在robots.txt中，鍵後面加：號，後面必有一個空格，和值相區別開。
2)Disallow鍵
該鍵用來解釋明白不准許搜索引擎網站蛛蛛抓取的URL途徑。
例如：Disallow: /index.php 嚴禁網站index.php文件
Allow鍵
該鍵解釋明白准許搜索引擎網站蛛蛛爬動的URL途徑
例如：Allow: /index.php 准許網站的index.php
通配符*
代表恣意多個字符
例如：Disallow: /*.jpg 網站全部的jpg文件被嚴禁了。
終了符$
表達曾經面字符終了的url。
例如：Disallow: /?$ 網站全部以?結末的文件被嚴禁。
四、robots.txt實際的例子剖析
例1. 嚴禁全部搜索引擎網站過訪網站的不論什麼局部
User-agent: *
Disallow: /
例2. 准許全部的搜索引擎網站過訪網站的不論什麼局部
User-agent: *
Disallow:
例3. 僅嚴禁Baiduspider過訪您的網站
User-agent: Baiduspider
Disallow: /
例4. 僅准許Baiduspider過訪您的網站
User-agent: Baiduspider
Disallow:
例5. 嚴禁spider過訪特別指定目次
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /data/
注意事情的項目：1)三個目次要作別寫。2)請注意最終要帶斜杠。3)帶斜杠與不帶斜杠的差別。
例6. 准許過訪特別指定目次中的局部url
我期望a目次下只有b.htm准許過訪，怎麼寫?
User-agent: *
Allow: /a/b.htm
Disallow: /a/
注：准許收錄優先級要高於嚴禁收錄。
從例7著手解釋明白通配符的運用。通配符涵蓋($ 終了符;
*恣意符)
例7. 嚴禁過訪網站中全部的動態頁面
User-agent: *
Disallow: /*?*
例8. 嚴禁搜索引擎網站抓取網站上全部圖片
User-agent: *
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
seo
Disallow: /*.png$
Disallow: /*.bmp$
其它眾多事情狀況呢，需求具體事情狀況具體剖析。只要你理解了這些個語法令規則則以及通配符的運用，信任眾多事情狀況是可以解決的。
五、meta robots標簽
meta是網頁html文件的head標簽裡邊的標簽內部實質意義。它規定了此html文件對與搜索引擎網站的抓取規則。與robot.txt 不一樣，它只針對寫在此html的文件。
寫法：
<meta name=robots content= />。
裡邊的內部實質意義列出如下所述
noindex – 阻擋頁面被列入引得。
nofollow – 阻擋對於頁面中不論什麼超級鏈接施行引得。
noarchive – 不保留該頁面的網頁快照。
nosnippet – 不在搜索最後結果中顯露該頁面的提要信息，同時不保留該頁面的網頁快照。
noodp – 在搜索最後結果中不運用Open Directory Project中的描寫信息作為其提要信息。
六、robots的測試
在谷歌站長工具中，添加網站後運用左側的抓取工具的職權范圍，就可以對網站的robots施行測試了，周密見圖。
robots.txt和mtea robots的內部實質意義就紹介到這處，信任大家對robot已經有了比較周密的理解。運用好robots對於我們網站的seo有著意要效用，做的好，可以管用的屏蔽那一些我們沒想到讓搜索引擎網站抓取的頁面，也就是對用戶體驗認識不高的頁面，因此將有幫助於網站關鍵詞名次的內頁充分展覽個客戶，取得搜索引擎網站對站內頁面的權重，因此有幫助於我們將網站關鍵詞名次做的更好。
!!