首先，我來紹介一下子啥子是robots.txt：robots.txt是搜索引擎網站中過訪網站的時刻要查 看的第1個文件。Robots.txt文件奉告蛛蛛手續在服務器上啥子文件是可以被檢查的。當一個搜索蛛蛛過訪一個站點時，它會頭先查緝該站點根目次下是 否存在robots.txt，假如存在，搜索機器人便會依照該文件中的內部實質意義來確認過訪的范圍;假如該文件不存在，全部的搜索蛛蛛將能夠過訪網站上全部沒有 被口令盡力照顧的頁面。最終，robots.txt務必安放在一個站點的根目次下。

　　大家可以參照一下子谷歌、百度和騰訊的robots寫法：

　　

　　像第1個的鏈接這麼的鏈接太多，那末我們要怎麼屏蔽呢?實際上只要屏蔽/XXX?就可以屏蔽全部的鏈接了。

　　代碼如下所述：

　　Disallow： /XXX?

　　同理，一點沒有內部實質意義的頁面我們也可以利用相同的方法將其屏蔽掉。

　　2、用robots.txt屏蔽駢枝的鏈接，普通保存靜態的鏈接(既HTML、htm、shtml等)。

　　因為網站中常常會顯露出來多個鏈接指向同一個頁面的事情狀況，而這麼會讓搜索引擎網站對網站的友善度減低。為了防止這一個事情狀況，我們就可以經過robots.txt把 次要的鏈接去掉。

　　譬如以下兩個鏈接指向一樣的頁面：

　　/OOO?123

　　/123.html

　　那末我們就應當去掉第1個垃圾，代碼如下所述：

　　Disallow： /OOO?123

　　3、用robots.txt屏蔽死鏈

　　死鏈就是以前存在的網頁，由於改版或其它原故而錯過作用後就成為死鏈，也就是說看似一個正常的網頁鏈接，但點擊後不可以敞開相對應的網頁頁面。

　　譬如，原來在目次為/seo下的全部鏈接，由於目次地址的變更，如今都成為死鏈接了，那末我們可以用robots.txt把他屏蔽掉，代碼如下所述：

　　Disallow： /seo/

　　4、奉告搜索引擎網站你的sitemap.xml地址

　　利用robots.txt可以奉告搜索引擎網站你sitemap.xml文件的地址，而不必在網站上添加sitemap.xml的鏈接。具體代碼如下所述：

　　Sitemap： 你的sitemap地址

　　User-agent： *

　　Disallow： /wp-

　　Disallow： /feed/

　　Disallow： /comments/feed

　　Disallow： /trackback/

　　Sitemap：

　　谷歌：