核心提示: 在一個網站裡,robots.txt是一個重要的文件,每個網站都應當有一個設置正確的robots.txt。 |
當搜索引擎來抓取你的網站文件之前,它們會先來看看你網站的robots.txt文件的設置,以瞭解你所允許它抓取的范圍,包括哪些文件,哪些目錄。那麼如何配置您的robots.txt文件呢?
讓我們看一個例子:
# robots.txt file start
# Exclude Files From All Robots:
User-agent: *
Disallow: /admin_login/
Disallow: /admin/
Disallow: /admin.htm
Disallow:/admin.aspx
# End robots.txt file
有#號的都是註釋,方便閱讀。
User-agent就是搜索引擎的蜘蛛,後面用瞭*號,表示對所有的蜘蛛有效。
Disallow就是表示不允許抓取,後面的目錄或者文件,表示禁止抓取的范圍。
編輯好這個文件,然後保存在你的網站的根目錄下(一定是根目錄下,當然你也可以調整),那麼搜索引擎就會來看的。
如果你沒有robots.txt文件,在你的網站訪問日志文件裡,你會看到蜘蛛訪問robots.txt文件不成功的紀錄。
好瞭,現在就去設置你的robots.txt文件吧。