百度蛛蛛、Google蛛蛛技術剖析

  這篇百度蛛蛛和Google蛛蛛詳解的技術文章源於我本人的多個站點,通過約一周的周密仔細查看和剖析,全部蛛蛛的數值均真實管用,當然並不擯除誤差現象,開具來,一則是自個兒收拾,二則與大家分享,期望對大家理解搜索引擎網站蛛蛛有所幫忙。

  首先來看下百度和Google對蛛蛛的官方詮釋:(請去過訪官方解釋明白)

  百度蛛蛛:Baiduspider Google蛛蛛:Googlebot

  以下是我各個站點每幾天前來訪問的百度蛛蛛和Google蛛蛛的ip段,對應每個站點的成熟度各有不一樣,我們試著在那裡面找到規律:(蛛蛛的前來訪問數目與外鏈的數目,站點的更新頻率,權重都脣亡齒寒,此處的數值僅代表我私人的站點)

  百度蛛蛛剖析:

  A站.B站.F站均為一年至四個月的半成熟站點,百度蛛蛛( Baiduspider)每幾天前來訪問回數均在5000-8000+次左右

  E站.G站均為二個月至四個月的新站,百度蛛蛛( Baiduspider)每幾天前來訪問回數均在2000-3000+次左右

  C站在上以星期因服務器問題沒有辦法過訪一天,正常的爬動回數在3000+

  D站為特別事情狀況,尚待研討。H站上線50天,爬動回數1000+

  從以上的列表中可看見:

  123.125.64.*123.125.66.* 這兩個ip段為最常理顯露出來的百度蛛蛛,應當是正常抓取和站點狀況正常時百度的例行巡查警戒兵。

  119.63.193.* 119.63.198.*這兩個ip段顯露出來的站點均有改易ip,沒有辦法過訪,新起立初的事情狀況,我們了解為:新站考察期蛛蛛段。

  121.14.89.* 這個ip段作為度過新站考察期,來的更高等級的常駐蛛蛛,作為更深一級的爬動蛛蛛。

  Google蛛蛛剖析:

  從以上的列表中可看見:

  202.101.43.*222.73.247.*66.249.65.* 這三個ip段是最為常理顯露出來的。

  66.249.16.*顯露出來的站點均為新站或站點顯露出來沒有辦法過訪事情狀況後再次顯露出來的ip段。

  210.72.225.*這個ip段不間斷巡查警戒各站。

  203.208.60.*這個ip段顯露出來在新站及站點有不正常現象後。

  綜合以上數值可看出些須百度蛛蛛和Google蛛蛛的不一樣:

  1、 百度的蛛蛛過訪及抓取量長遠於Google蛛蛛

  2、百度的蛛蛛ip段較固定且有規律,Google有可能因蛛蛛的分級及不一樣服務器過來抓取的頻率不一樣而顯得多樣化

  3、 錯非你的站點絕對被Google辦罪,否則前來訪問的蛛蛛數目不會有太大的區別,但百度則有可能封殺你在這以後就很難還原,或對你的站點稀少爬動。

  有可能這張表單裡的數值也有我沒有絕對了解的有可能性,散發來就是與大家一塊兒並肩商議,期望有研討的朋友可以多多留言,我更期望能有不一樣的看法顯露出來,期望這篇文章對大家在seo方面的研討有所幫忙。

  參照網站日記文件網站: 請留下你們的見地。