我的私人站是用z-blog建的站，近來我發覺眾多的z-blog站長都不曉得應當怎麼設置自個兒的robots，實際上robots設置對網站優化來說仍然十分關緊的。開創 robots.txt 文件，可以不讓搜索蛛蛛抓取你的網站的局部目次還是文件。 對於一個網站來說並非抓取的目次日文件越多越好，由於不是全部的文件都需求被搜索引擎網站抓取。

以下幾種事情狀況有足夠的理由奉告我們robots設置的關緊性：

有點文件根本沒有網站關鍵詞或文本，譬如本站的這個頁面cmd.asp。
普通事情狀況下，站內的搜索最後結果頁面用robots設置屏蔽掉更好，譬如本站的sreach.asp
網站後臺管理頁面，不期望被用戶搜索到引來不不可缺少的麻煩，也需求用robots設置屏
網站改版或url重寫時原來不合搜索引擎網站友善的鏈接都需求用robots設置屏蔽掉
相仿度太高的頁面，不合搜索引擎網站的網站相仿度規則，也可以用robots設置屏蔽掉

以下是我的私人站的robots設置規則,期望能夠起到拋磚引玉的效用：

## robots.txt for dikeyao
# Version 4.0.0#User-agent: *
# Directories
Disallow: /FUNCTION/
Disallow: /CACHE/
Disallow: /XML-RPC/ Disallow: /SCRIPT/
Disallow: /ADMIN/
Disallow: /CSS/
Disallow: /LANGUAGE/
Disallow: /DATA/
Disallow: /THEMES/
Disallow: /INCLUDE/
#Files
Disallow: /wap.asp
Disallow: /cmd.asp
Disallow: /c_option.asp
Disallow: /c_custom.asp
#Sitemap
Sitemap: /sitemap.xml

# Directories 以下是需求屏蔽的目次
#Files以下是需求屏蔽的文件
#Sitemap　假如網站有sitemap.xml最終還可以加上sitemap語句。
Nrobots設置規則可以參照：google管理職員具robots設置指南
z-blog的用戶還可以參照一點行業中比較出名的博客，譬如月色博客，辦法很簡單就是在網址後邊有加上robots.txt即可（robots.txt在根目次下），　/robots.txt ，同理檢查其他網站robots設置也用此辦法。