前段時間作者手裡一個網站由於robots.txt文件差錯被寫錯了幾個字符，造成網站遲遲不被收錄。當初感受很不稱心，查緝來查緝去也沒有查緝出啥子問題，後來登錄Google網站管理員核心診斷網站纔看見robots文件團體不論什麼搜索引擎網站蛛蛛過訪纔發覺問題，悔過在這以後，收錄正常。
robots.txt文件的寫法你曉得若乾呢?相比較一下子下邊的例子：
1、嚴禁全部搜索引擎網站過訪網站的不論什麼局部，也就是是嚴禁不論什麼搜索引擎網站收錄你的網站。
User-agent: *
Disallow: /
2、准許全部的搜索引擎網站過訪你的網站的不論什麼局部，這是一般的用處。
User-agent: *
Disallow:
還是
User-agent: *
Allow: /
3、僅嚴禁某一搜索引擎網站過訪你的網站。百度是baiduspider Google是googlebot
User-agent: baiduspider
Disallow: /
還是
User-agent: googlebot
Disallow: /
4、僅只准許某一搜索引擎網站過訪你的網站。一樣百度是baiduspider Google是googlebot
User-agent: baiduspider
Disallow:
還是
User-agent: googlebot
Disallow:
5、假如你網站的某個目次不期望被搜索引擎網站收錄，寫法如下所述：
User-agent: *
Disallow: /目次名字1/
Disallow: /目次名字2/
Disallow: /目次名字3/
注意：不可以寫成Disallow: /目次名字1/ /目次名字2/ 這麼的方式，每個目次要單獨提行尤其解釋明白。
6、嚴禁搜索引擎網站過訪網站中全部的動態頁面(動態頁面就是URL中不論什麼帶有?的頁面)
User-agent: *
Disallow: /*?*
7、僅只准許搜索引擎網站過訪某一特別指定文件後綴方式的網頁。
User-agent: *
Allow: .後seo綴方式(如.html、.htm、.php等等)$
Disallow: /
8、限止搜索引擎網站過訪某一特別指定文件後綴方式的網頁。
User-agent: *
Disallow: /*.後綴方式(如.html、.htm、.php等等)
9、准許搜索引擎網站過訪特別指定目次中的網頁
User-agent: *
Allow: /目次1/目次2(准許過訪目次2中的網頁)
Allow: /目次3/目次4(准許過訪目次4中的網頁)
Allow: /目次5/目次6(准許過訪目次6中的網頁)
Disallow: /目次1/
Disallow: /目次3/
Disallow: /目次5/
10、阻擋搜索引擎網站過訪網站中特別指定某一文件款式的文件(注意不是網頁)
User-agent: *
Disallow: /*.(文件款式：如gif、jpg等等)$
1、robots.txt文件是以純文本款式保留的txt文件。
2、robots.txt務必避免在網站的根目次中。最領導的robots.txt文件務必這麼被過訪：如/robots.txt
3、書寫robots.txt時要嚴明依照以上體積寫方式書寫
4、一般你的網站假如比較簡單，那末以上的款式足夠你運用的了。假如比較復雜，需求過訪這處而又不必過訪那邊，嚴禁這個文件又要准許那一個文件，准許過訪過訪帶有?符號的特別指定網頁等等，那末你需求接合以上款式仔細研討合宜於你網站的robots.txt文件寫法。
5、robots.txt一般在某個分目次中還可以存在，不過假如與最高級目次中的robots.txt有沖突，則以最高級目次中robots.txt指示為准。
6、僅當您的網站裡面含有不期望被搜索引擎網站收錄的內部實質意義時，纔需求運用robots.txt文件。假如您期望搜索引擎網站收錄網站上全部內部實質意義，請勿樹立robots.txt文件還是開創一個內部實質意義為空的robots.txt文件。這一點兒一般被許多人疏忽，其實樹立空的robots.txt文件對搜索引擎網站十分不友善。
7、假如你沒想到自個兒挪用手寫robots.txt文件，那末請Google幫你寫。登錄Google網站管理平臺，有生成robots.txt文件的功能。
8、User-agent: *
Disallow: /
這種款式不止只是嚴禁抓取頁面，更關緊的是假如你的網站被收錄了，而後又把robots.txt文件改正成以上款式，那末你的網站將在搜索引擎網站中被刪去，整個兒地刪去。
9、元標記對於普通的網站來說可有可無，然而你仍然得理解：
＜META NAME=ROBOTS CONTENT=INDEX,FOLLOW＞（准許抓取該頁面，准許跟著該頁面上的鏈接接著抓取）
＜META NAME=ROBOTS CONTENT=NOINDEX,FOLLOW＞（不准許抓取該頁面，准許跟著該頁面上的鏈接接著抓取）
＜META NAME=ROBOTS CONTENT=INDEX,NOFOLLOW＞（准許抓取該頁面，不准許跟著該頁面上的鏈接接著抓取）
＜META NAME=ROBOTS CONTENT=NOINDEX,NOFOLLOW＞（不准許抓取該頁面，不准許跟著該頁面上的鏈接接著抓取）
10、需求刪去一點被搜索引擎網站收錄的特別指定網頁，參照/support/webmasters/bin/answer.py?answer=35301
表面上很像到現在為止只有Google這樣做。