想把SEO做好，必須要對搜索引擎網站的蛛蛛足夠理解，要理解蛛蛛，就要嚴肅對待對日記施行剖析，下邊我愛騾就依據網站的日記試著對蛛蛛做簡單扼要的剖析，下邊的幾張截圖是之前剖析的網站日記，我們主要就來看看百度蛛蛛和谷歌蛛蛛吧，其它SE不猶豫漠視。

　　一、抓取的深度和廣度

　　

　　從圖中可以看出，百度蛛蛛的過訪回數和抓取量作別是98600和224896，谷歌蛛蛛的過訪回數和抓取量作別是31157和172790，讓我們用小學算術老師教的算學來算一下子均勻每個蛛蛛過訪的頁面數，百度蛛蛛：224896/98600=2.28，谷歌蛛蛛：172790/31157=5.54，可以看出百度的抓取廣度要比谷歌優良一點，而谷歌蛛蛛的抓取深度表面化要高於百度，百度每個蛛蛛均勻纔看兩個頁面，因為這個，非常大多數據量稍大點的網站常常會顯露出來這個事情狀況，谷歌收錄比較多，而百度收錄寥寥，針對這一點兒，做百度收錄量的時刻，假如數值量較大，內頁的隨機文章調配使用這一塊必須要做好，至於怎麼樣隨機，自個兒施展吧。

　　二、不正確鏈接的抓取

　　

　　上圖是輕易取出的幾個蛛蛛回返404狀況碼的抓取頁面，從圖中的示明可以看出，縱然網站沒有死鏈，蛛蛛還是會抓取一小批死鏈，百度蛛蛛喜歡抓取二分之一URL而後就被勾引到別的地方，而谷歌也有htm後綴抓成html的事情狀況，然而相對來說，谷歌的抓取不正確仍然寥寥的，而百度就不少了，究其端由，估計只有兩家企業的工程師纔明白，我們也沒不可缺少去關心注視這個端由。針對這一點兒，不管你的站有沒有死鏈，盡力都去給加上404不正確頁面，由於，無論你有木有死鏈，蛛蛛都會抓到。

　　三、對新站的抓取

　　

　　依據曾經仔細查看幾個新站日記的發覺，百度蛛蛛對一個新站普通第1天會發瘋抓取，而後會沈寂時期，而谷歌比較老實，喜歡循序漸進一點兒一點兒來，越來越多。上圖是我6詜聕份兒上的一個新站的日記，六月15號那天掛上去後不到一鍾頭百度收錄首頁，況且發瘋抓取5500次，次日就著手在爆發中沈默，而谷歌一著手抓取的很少，慢慢越來越多(聲明：上圖日記的這10天，網站未做不論什麼外鏈，因為這個不會受不論什麼內在端由影響)。常常看見眾多人網站上線第1天看見百度數量多抓取感受很驚奇，感到是自個兒網站權重高，而後次日著手，蛛蛛直接來個1800度調試，每日就略微來看一下子，而後就變得很煩悶，感到是百度不喜歡自個兒的站了，實際上不是這麼，這是百度蛛蛛的特別的性質。

　　以上只是簡單扼要剖析下百度和谷歌蛛蛛抓取網站的特別的性質，只是九牛一毛，網站日記還有非常多我們該去剖析的物品，本文轉自：福州SEO@我愛騾，原文鏈接：，過載請注明來源。