抓取不正確是 Google網站管理職員具(Webmaster Tools)中最受熱烈歡迎的工具之一。它可以幫忙你查緝不正確的鏈接，不止只是URL鏈接，還包行DNS解析敗績、服務器鏈接、robots.txt 文件等問題，幾乎全部網站都會顯露出來抓取不正確。

　　網 站站長工具將不正確分為兩類：網站不正確(site errors)和鏈接地址不正確(URL errors)。假如在一個網站上顯露出來多個抓取不正確，那末你的網站相信度會減退，甚至於會影響到名次，當然這工具對於百度優化一樣管用。那末應該怎麼樣解決 Google網站管理職員具的抓取不正確呢。

　　

　　經過Googlebot抓取的不正確分類就看曉得是啥子造成抓取不正確的端由了。

　　一、HTTP的不正確

　　當一個網站上的網頁(例如，當用戶在瀏覽器中過訪您的網頁或Googlebot抓取頁面時)到您的服務器散發煩請，服務器回返HTTP狀況碼響應煩請。

　　假如顯露出來403狀況，可以無須理睬，這表明是你的主機阻擋了Googlebot抓取。對於全部HTTP狀況碼的列表文件，可以參照Google HTTP狀況碼幫忙頁面。

　　二、Sitemap中的不正確

　　Sitemap不正確往往會導致404不正確頁面，或在現時地圖回返一個404不正確頁面，假如顯露出來404不正確頁面請查緝Sitemap中全部的鏈接，

　　Google會不斷抓取你已經刪去的Sitemap，這點很煩悶，但也有方法解決：保證舊的Sitemap已經在管理職員具中被刪去。假如沒想到被抓取，保證舊Sitemap顯露出來404還是從新定向到新的Sitemap。

　　來自Google職員Susan Moskwa詮釋道：

　　阻擋Googlebot的爬動，最好的方法是使這些個網址(例如舊的sitemaps)顯露出來404，當我們看見一個URL多次顯露出來404後，Googlebot會休止爬動。

　　三、重定向不正確

　　有點不正確是由於301從定向引動的，執行重定向後要注意啥子：

　　1：保證它們回返到准確的HTTP狀況碼。

　　2：保證沒有不論什麼循環重定向。

　　3：確珍重定向指向管用的網頁，而不是404頁，或其它不正確頁，如503(服務器不正確)或403(嚴禁抓取)

　　4：確珍重定向不是指向一個空頁面。

　　四、404不正確

　　404不正確有可能會顯露出來在下面這些方面：

　　1：刪去開網站上的網頁;

　　2：變更了網頁的名字;

　　4：鏈接到達一個不存在的頁面;

　　5：其它網站鏈接到你網站上一個不存在的頁面;

　　6：網站搬遷到一個新的域名不絕對般配的網站。

　　五、受robots.txt限止

　　還有一個端由是robots.txt文件阻擋了Googlebot的抓取，假如顯露出來數量多抓取不正確，第1步應當查緝robots.txt

　　六、軟404不正確

　　通 常事情狀況下，當有人煩請的頁面不存在，服務器將回返一個404(未找到)不正確。除開在響應煩請的頁面不存在回返404代碼，服務器也將顯露一個404頁。 這有可能是一個標准的未找到文件的消息兒，或旨在供給更多信息的用戶，它有可能是一個自定義頁面。 頁的內部實質意義是由服務器回返的HTTP響應絕對無關。僅只由於一個頁面顯露404文件未找到消息兒並沒想到味著它是一個404頁。

　　

　　七、超時

　　網站超時也是顯露出來抓取不正確的端由之一，假如顯露出來超時現象，Googlebot會休止抓取。超時的不正確類型有：

　　1：DNS超時，可以運用Nslookup 指示檢驗測定DNS，顯露出來DNS超時最大的因素是域名服務商的DNS服務器不定。

　　2：網址超時，在某一個特別指定頁面，而不是整個兒域的不正確。

　　3：robots.txt超時，假如你網站有robots.txt，但服務器超時，Googlebot會假定該文件不存在。

　　4：動態網頁的響應時間過長而導致網頁載合乎時尚間過長。

　　文章出處：盧松松博客 本文地址：