從百度蛛蛛IP段爬動日記剖析收錄事情狀況是否可信

  作者最近幾天剛纔上線一個新站,於是著手關心注視一點相關SEO的信息,偶然性間搜索到一篇文章,題為:百度蛛蛛IP段詳解,內部實質意義為紹介通不為己甚析網站日記中百度蛛蛛爬動的IP段來理解網站首頁或內頁的收錄放出事情狀況。看後,作者便親身嘗試了一下子,發覺有可能並不可以信。

  那末作者查問了下日記中,IP為220.181.108.95的蛛蛛爬動日記:220.181.108.95 – – [31/Dec/2013:12:04:42 +0800] “GET / HTTP/1.1” 400 39 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +)” “-“,作者的站地址為:一問網日記爬動時間為2013年十二月三十一號晌午12點,截至投稿前,首頁快照還稽留在幾個月曾經,並未如文章中所說隔夜快照。

  此時作者便有了疑問,於是又找了一個文中筆者以前保障過的額外一個IP,文中原文為:220.181.108.*段IP主要是抓取首頁佔80百分之百,內頁佔30百分之百,這此爬過的文章或首頁,完全24鍾頭內放出來和隔夜快照的,這點我可以保障!

  而作者又查問了下日記中是否存在此IP,發覺的確存在,並且還不少:

  220.181.108.116 – – [31/Dec/2013:03:17:17 +0800] “GET / HTTP/1.1” 200 3652 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +)” “-“

  220.181.108.112 – – [31/Dec/2013:07:56:58 +0800] “GET / HTTP/1.1” 200 3652 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +)” “-“

  220.181.108.108 – – [31/Dec/2013:08:55:43 +0800] “GET / HTTP/1.1” 200 3652 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +)” “-“

  220.181.108.80 – – [31/Dec/2013:09:57:11 +0800] “GET / HTTP/1.1” 400 39 “-” “Mozilla/5.0 (compatible; Baiduspider/2.0; +)” “-“

  因為內部實質意義過多,便然而多列舉,像文中筆者所保障的(“220.181.108.*段IP主要是抓取首頁佔80百分之百,內頁佔30百分之百,這此爬過的文章或首頁,完全24鍾頭內放出來和隔夜快照的”。)最後結果並未顯露出來,一問網,直到現在距離百度蛛蛛爬過已通過48鍾頭,並未放出。

  由此可見,網上所傳流的百度蛛蛛IP段詳解有可能並不可以信。以上是作者的一人之見,請大家多多斥責提意見,熱烈歡迎大家找我商議,信箱:z#yiwen.cn(請把#換成@)。