Robots.txt紹介及用處

Robots.txt紹介及用處

robots.txt是一個很簡單的txt文件,可以奉告搜索引擎網站哪一些頁面可以收錄,哪一些不准許收錄。

 

1.怎麼樣看自個兒網站的robots.txt:一你可以用ftp打看自個兒網站的根目次,裡邊就有這個文件,傳遞到本地就可以看,二你可以在自個兒網站的域名後加上/robots.txt就可以看了,假如打不開,解釋明白這個文件沒有准確安放。如:/robots.txt就可以看見。

 

2.要領:普通事情狀況下,robots.txt裡只寫著兩個函數:User-agent和 Disallow。User-agent: *後面加星號解釋明白准許全部搜索引擎網站收錄;有幾個嚴禁,就得有幾個Disallow函數,每行一個施行描寫;至少要有一個Disallow函數,假如都准許收錄,則寫: Disallow: 假如都不准許收錄,則寫:Disallow: /(注:兩者只相差一個斜杆)。

 

3.務必起名稱為robots.txt,不然就白做了,並且務必為小寫英文。

 

4.額外,假如你的站點准許對全部搜索引擎網站公開,則不做這個文件還是robots.txt為空就行。

 

看見這處眾多人也許會說,那最好就是不做,管他乾嘛呢。你務必清楚,做SEO第1個步驟就是弄好robots.txt,假如這個出點問題,對你網站的收錄曲直常不順利的。所以,當你向搜索引擎網站提交處理你的網站前,務必先查緝一下子這個,幾分鍾的事,不要怕麻煩。

 

額外,寫在最終,robots.txt最大的一個效用:百度不像Google網站管理工具可以提交處理googel sitemaps,你可以把自個兒網站地圖的地址放在robots.txt的恣意位置,那就是間接向百度提交處理了你的網站地圖,和睦快樂而不為呢。