在一個網站裡，robots.txt是一個關緊的文件，每個網站都應該有一個設置准確的robots.txt。
當搜索引擎網站來抓取你的網站文件之前，他們會先來看看你網站的robots.txt文件的設置，以理解你所准許它抓取的范圍，涵蓋哪一些文件，哪一些目次。那末怎麼樣配備布置您的robots.txt文件呢？
讓我們看一個例子：
# robots.txt file start
# Exclude Files From All Robots:
User-agent: *
Disallow: /admin_login/
Disallow: /admin/
Disallow: /admin.htm
Disallow:/admin.aspx
# End robots.txt file

有#號的都是注解，便捷閱覽。
User-agent就是搜索引擎網站的蛛蛛，後面用了*號，表達對全部的蛛蛛管用。
Disallow就是表達不准許抓取，後面的目次還是文件，表達嚴禁抓取的范圍。

編輯好這個文件，而後保留在你的網站seo的根目次下(一定是根目次下，當然你也可以調試)，那末搜索引擎網站便會來看的。
假如你沒有robots.txt文件，在你的網站過訪日記文件裡，你會看見蛛蛛過訪robots.txt文件不了功的紀錄。
好了，如今就去設置你的robots.txt文件吧。