網站優化做的是使搜索引擎網站迅速引得頁面，因此增加權重和過訪量。由此站長喜歡蛛蛛將網站爬個遍，吃個透。不過讓蛛蛛肆無顧忌的去爬動實在就有好處於網站優化嗎？眾多站長在robotts.txt文本中有可能除開ADMIN、DATA目次限止蛛蛛爬動，其它目次任蛛蛛引得。作者要說，做網站優消除了一點安全目次外再應程度適當屏蔽一點目次，嚴禁搜索引擎網站的引得是有好處無害的。

　　一：圖片目次的屏蔽
　　圖片是構成網站組成的主要元素，不過正題模型板中大致相似的圖片在搜索引擎網站中鋪天蓋地，搜索引擎網站一遍遍的引得下去還會施行收錄嗎？縱然收錄了，所帶的效果也是微不足道的。一個不賴的網站，每日各式各樣的蛛蛛加起來前來訪問不下於幾千次，沒有疑問是耗費了數量多的帶寬。普通我們常屏蔽的目次為images、images。

　　二：緩存目次的屏蔽
　　眾多手續都具備緩存目次，拿z-blog這個手續來舉例子，它的緩存目次為CACHE，那裡面會有著不少已經生成HTML的緩存文件。假如蛛蛛接著施行引得的話，沒有疑問是導致了重復內部實質意義的引得，這對網站是有害沒有好處的。看見不少運用Z-blog的朋友都沒有施行設置，有可能是沒有引動足夠的看得起吧。當然，其它手續還有這各自不一樣的緩存目次，針對性的施行屏蔽纔最為相宜。

　　三：模型板目次的屏蔽
　　對於手續的模型板，大部分站長都挑選了直接仿用而不但立模型板。模型板的高度重復性也變成了一個搜索引擎網站中信息的冗餘，因為這個利用Robots.txt來施行模型板的屏蔽也是有好處無害的。且模型板文件每常與生成文件高度相仿，一樣易導致雷同內部實質意義的顯露出來。

　　四：CSS目次的屏蔽
　　CSS目次，搜索引擎網站抓取無用，所以我們在設置Robots.txt文件中將其施行屏蔽，以增長搜索引擎網站的引得品質。為搜索引擎網站供給一個簡潔清楚的引得背景更易提高網站友善性。

　　五：局部手續的RSS頁
　　此條只針對存在RSS頁的手續來講，普通博客中比較常見。此頁面可謂是一個高度重復的頁面，絕對有不可缺少施行屏蔽，以加強網站在搜索引擎網站中的友善性。

　　六：屏蔽雙頁面的內部實質意義
　　一個可以生成靜態頁面的網站，普通來說動態頁面也是可以過訪的。如：）覺得：robots.txt文件不止只是屏蔽安全目次的工具，優化允當更利於網站對搜索引擎網站的優化。