隨著私人有經驗的提高，我著手由著手負責一點新項目操作，固然這些個項目所優化的網站關鍵詞名次進程度還算比較好，但在操作過程中我碰到了眾多問題，這些個問題的發覺、解決讓我意識到達seo辦公中細節的關緊性，可以說是細節表決勝敗。尤其是經過項目標實際作戰操作，讓我時候的意識到達robots文件在網站優化中的關緊性。所以，seo童鞋們，尤其是一點初涉seo領域的童鞋們，必須要技術純熟的掌握robots文件運用解釋明白及其事情的項目。

　　Robots文件，嚴明說來是robots.txt文件，它的真正涵養應當怎麼樣了解呢?實際上robots.txt不是指示，而是一個協議。搜索引擎網站在抓取一個網站內網頁的時刻，會先抓取robots.txt文件，所以這個文件存在的意義就是奉告搜索引擎網站哪一些頁面可以被抓取，哪一些頁面不可以被抓取。當搜索引擎網站抓取網站內的網頁時，它會頭先過訪網站根目seo次下的robots文件，假如存在這個文件，搜索引擎網站會依照文件中定義的內部實質意義施行抓取，假如沒有的話，搜索引擎網站便會抓取一切被准許它能夠抓到的頁面。在我的了解中，robots文件就像是奉告搜索引擎網站哪一些頁面該過訪，哪一些搜索引擎網站不該過訪。

　　那末robots.txt文件的真正寫法是啥子呢?在操作榮利站點的時刻，因為這個站點曾經是老站點，並且是動態頁面，如今是被調成了靜態頁面，所以裡邊會有眾多起初的文件都消逝了，所以搜索引擎網站就沒有辦法抓取到，會顯露出來眾多抓取不正確，多達兩千個，這就很有不可缺少使用robots文件把這些個已經找不到的頁面定義掉，讓搜索引擎網站不再抓取。這些個內部實質意義就涉及robots.txt文件的書寫問題。Robots文件中有兩個基本原則，是最簡單的robots文件要寫的，第1是User-Agent: 適合使用下面所開列規則的隨意游玩器 ;第二是Disallow: 要中途阻擋的網頁，而Allow是定義准許搜索引擎網站收錄的地址。所以robots的文件寫法有以下：

　　User-agent: * (這處的*代表的全部的搜索引擎網站品類，*是一個通配符 )

　　Disallow: /admin/ 這處定義是嚴禁爬尋admin目次下邊的目次

　　Disallow: /require/ 這處定義是嚴禁爬尋require目次下邊的目次

　　Disallow: /ABC/ 這處定義是嚴禁爬尋ABC目次下邊的目次

　　Disallow: /A 是屏蔽A目次下的全部文件，涵蓋文件和細目錄，還屏蔽 /A*.*的文件

　　Disallow: /cgi-bin/*.htm 嚴禁過訪/cgi-bin/目次下的全部以.htm為後綴的URL(裡面含有細目錄)。

　　Disallow: /*?* 嚴禁過訪網站中全部的動態頁面

　　Disallow: /.jpg$ 嚴禁抓取網頁全部的.jpg款式的圖片

　　Disallow:/ab/adc.html 嚴禁爬取ab文件夾下邊的adc.html文件。

　　Allow: /cgi-bin/　這處定義是准許爬尋cgi-bin目次下邊的目次

　　Allow: /tmp 這處定義是准許爬尋tmp的整個兒目次

　　Allow: .htm$ 僅准許過訪以.htm為後綴的URL。

　　Allow: .gif$ 准許抓取網頁和gif款式圖片

　　而在我的站點操作中，會用到的有兩個，即是最簡單的robots文件的基本原則，他們作別是

　　User-agent: *

　　Disallow：/english/(即定義掉english目次下邊的文件)

　　

　　寫robots.txt文件要注意：robots.txt文件務必被安放在一個站點的根目次下，普通需求在網站後臺添加;robots.txt文件名務必小寫。這兩點看似很簡單，在操作時是眾多seo童鞋們是很容易犯不正確的，所以仍然提示一下子。

　　如今手裡的seo項目越來越多，也真正的感覺到達seo辦公並不是一件簡單的事物。這也奉告我：往後在操作seo項目時，要注意細節，這麼操作的操作纔會越來越有把握。

　　文章出處於上海seo企業，過載請注明來源