這是偉大的時刻，搜索引擎網站常常過訪你的站點和引得你的內部實質意義，但往往在有點事情狀況下，當引得局部，你的線上內部實質意義是不是你想要的。 舉例來說，假如你有兩個版本的網頁(一個用於觀景，在瀏覽器和一個用於打印) ，你都寧可有平版擯除在爬動，否則，你就可能被強迫接受的重復內部實質意義的刑罰。額外，假如你正好有情報資料對你的站點說，你沒想到讓世界看見的，你也會喜歡，搜索引擎網站不要引得這些個頁面(固然在這種事情狀況下，惟一靠得住的路徑不是引得敏銳的數值，是維持離線對一個單獨的機器) 。這個之外，假如您想節約一點帶寬所不計較形象，式樣和JavaScript從引得中，你也需求有一個形式奉告蛛蛛，遠離了這些個項目。

　　那裡面一個辦法奉告搜索引擎網站哪一些文件日文件夾上你的網站，以防止是與運用robot MetaTags。 但因為並非全部的搜索引擎網站閱覽MetaTags ，機robot MetaTags可以簡單地被不重視。 更好的形式來告知搜索引擎網站對您將是運用robots.txt文件。

　　啥子是robots.txt的?

　　robots.txt的是一個書契(而不是HTML )的檔案，你把你的網站奉告搜索機器人哪一些頁面，你想它們不要過訪。robots.txt的絕不是強迫性的搜索引擎網站，但普通來說，搜索引擎網站聽從啥子卻要求它們不要做。這是務必表白的robots.txt是萬不得已阻擋搜索引擎網站從抓取你的網站(即它不是一個防火牆，還是說是一種password盡力照顧)和事情的真實情況，即你把robots.txt文件是同樣的物品再一次解釋明白： 委托，不要輸入 ，對一個沒有上鎖的門-例如，你不可以避免小偷兒進入了，但好人不會公開施行盤問檢查，共進入了。 這就是為何我們說，假如你實在有聾啞教育需求的敏銳數值，這是太天實在倚賴robots.txt的，以盡力照顧它被引得並顯露在搜索最後結果中。

　　存在的地方地的robots.txt是十分關緊的。

　　它務必在主目次中，由於否seo則用戶攝理(搜索引擎網站)將沒有辦法找到它-它們不到處尋找整個兒網站一檔名為r obots.txt的。相反，它們首先在主目次(即http://mydomain.com/robots.txt ) ，假如它們不感到有，它們只是如果這個站點沒有一個robots.txt文件，所以它們指數千方百計尋覓向前邁進的道路。 所以，假如你不把robots.txt的，在合宜的地點，並不覺得驚奇，搜索引擎網站引得你的整個兒網站。

　　概念和結構的robots.txt已進展了10積年前，假如你有興致更多地理解它，請過訪