前時期因為局部站長對robots文件的誤讀，造成了一則虛假消息兒的誕生–新浪封殺門，消息兒稱新浪博客著手封殺百度蛛蛛，其判斷的根據只然而是新浪博客在的robots文件中有一段User-agent：Baiduspider ，這個實際上上傳於2005年的robots疑惑了不少站長，實在以為新浪博客著手封殺百度了，一時間網上滿眼都是外鏈非常不好做的呼聲，實際上假如你知道得清楚robots的寫法，就可以很輕松的辨別這條虛假信息。

　　robots.txt文件安放於網站根目次下，搜索引擎網站蛛蛛過訪一個網站後最新檢查的就是robots文件，它就相當於你網站的門警，假如門警不接受搜索引擎網站蛛蛛進入了，則搜索引擎網站沒有辦法收錄你網站的不論什麼界面。

　　在百度搜索幫忙核心()中，

　　對怎麼樣嚴禁百度蛛蛛過訪是這麼定義的 ：

　　User-agent: Baiduspider

　　Disallow: /

　　僅准許百度蛛蛛的過訪：

　　User-agent: Baiduspider

　　Disallow:

　　嚴禁百度蛛蛛過訪特別指定目次：

　　User-agent: *

　　Disallow: /cgi-bin/

　　Disallow: /tmp/

　　Disallow: /~joe/

　　接合這3種語法，我們再來看看網上傳流的新浪博客的robots寫法：

　　User-agent： Baiduspider

　　Disallow： /admin/

　　Disallow： /include/

　　Disallow： /html/

　　Disallow： /queue/

　　Disallow： /config/

　　其真正的目標只是嚴禁百度搜索引擎網站過訪5個後臺目次，和內部實質意義頁並沒相關系，因為這個說那一個robots並不是封殺百度蛛蛛的，而是奉告百度蛛蛛要去改去的地方。

　　一個准確管用的robots文件可以幫忙你更好的被百度收錄，各位生手站在朋友假如對robots還人地生疏，可以到百度搜索幫忙核心()下載標准案件的例子，將裡邊的內部實質意義改成自個兒的網址即seo可。