眾多網站的FTP裡你會發覺一個robots.txt的文件，眾多站長都只曉seo得這個是限止蛛蛛過訪的文件，此文件到底還有沒有其它效用呢?我們一塊兒來學習一下子。

　　啥子是robots文件呢?這個文件是搜索引擎網站與網站之間的溝通橋梁，是兩者之間約定好的語法文件，搜索引擎網站每抓取一個網站，便會先查緝這個文件，就好似開門的鑰匙同樣。假如這個文件不存在，那末就代表不限止搜索引擎網站的抓取。假如這個文件存在，它便會依照文件中的規定要求施行抓取。有點站長會問了，我們樹立網站，肯定是需求搜索引擎網站收錄的，為何還要限止其抓取呢?搜索引擎網站在抓取過程中會搜索全站，你的網站中有可能存在一點你搜集的物品，還是是大致相似一點沒有本質性物品的頁面，那末搜索引擎網站抓取後會對你的網站的名聲大打折扣扣，起不到SEO的效果，不過robots文件就可以奉告蛛蛛，哪一些頁面不期望它去看，也間接的減損了服務器的載荷量。

　　這個文件有幾個需求注意的地方：

　　1。文件名字不可以寫錯，並且務必小寫，後綴務必是.txt.

　　2。文件務必放在網站的根目次，譬如：/robots.txt，要可以過訪。

　　3。文件內部實質意義語法要准確，普通事情狀況下，常用的就是User-agent和Disallow:

　　User-agent:* 就表達准許全部搜索引擎網站蛛蛛抓取和收錄，假如沒想到讓百度收錄你的網站，就把*換成baiduspider，那末後面Disallow限止的內部實質意義就不會被百度蛛蛛抓取和收錄了。假如你要限止抓取全站，那末Disallow文件就要寫成Disallow:/，假如你要限止某個文件夾下的文件不被抓取，那末就寫成Disallow:/admin/,假如你要限止抓取以admin開頭的文件，那末就寫成Disallow:/admin,以資類推，你要限止某個文件夾下的文件譬如，你要限止抓取admin文件夾下的index.htm文件，那末Disallow語法就寫成Disallow:/admin/index.htm。假如Disallow後不帶/,就代表准許抓取和收錄網站全部頁面。

　　普通網站的後臺管理文件，手續函數，數值庫文件，式樣表文件，模型板文件，網站一點圖片等等，沒有不可缺少讓蛛蛛抓取。

　　4。robots文件中一定要存在Disallow函數，這是這個文件設立的一個關鍵因素。

　　關於robots文件的一點關緊性和辦法約略就這些個了，期望能給大家帶來一點兒用法。