新站上線十二小時被收錄 分析蜘蛛爬行規律

今天早上使用site:搜 索收錄時,發現威戈箱包網被 SOSO收錄瞭,距離上線12小時。SOSO永遠都是那樣的善解人意!上線15小時後,goolge也收錄瞭威戈箱包網。google對新人站果然夠友好!

其實9月8日晚上8點多威戈箱包網上線並發瞭外鏈後,從日志上看到google機器人是幾分鐘之後8點28分就光顧瞭網站,百度蜘蛛半個小時後出 現,soso蜘蛛又晚瞭二十分鐘,即比google機器人遲到瞭五十分鐘後。

從蜘蛛爬行威戈箱 包網的情況看,SOSO很奇怪,首先是抓瞭robots.txt,然後就沒有瞭下文是因為夜晚太繁忙瞭?一直等到凌晨一點,SOSO又抓取瞭 威戈箱包網的首頁及必要的腳本,然後又潛伏瞭起來。早上8點,SOSO又來抓取瞭一下首頁。這期間威戈箱包網沒有更新,所以首頁沒變化,SOSO也就再次 撤退。

google機器人也是先抓取robots.txt文件,然後立即抓取首頁。一個半小時後花9點52分,google機器人再次出現還是抓取 robots.txt文化,然後抓取首頁。又過一個小時到瞭11點04分,google機器人開始爆發瞭,它還是先抓取威戈箱包網的robots.txt 文件,然後抓取瞭目錄頁和其它的文章頁,比較奇怪的是,這些抓取並不是馬上完成的,中間有時間隔瞭一個小時。所有頁面的抓取在凌晨一點前完成。截止上午 11點發稿,google機器人沒有再來過威戈箱包網。

百度蜘蛛的抓取特點極為明顯。從8日晚8點半到9日上午11點,百度蜘蛛共光顧威戈箱包網11次。在長達11次的試探中,百度蜘蛛的試探規律很有意思,8 點56分抓取瞭首頁,半分鐘後再次抓取首頁,又過三分鐘再來,又過三分鐘再來,估計看到首頁沒變化,又過瞭半小時才來,然後又過瞭一刻鐘過來,接下來又是 一小時或一刻鐘一來,10點48分百度蜘蛛全面撤退。今天上午9點時,百度蜘蛛在兩分鐘內兩次光顧威戈箱包網首頁,大概見到首頁還是沒更新,近11點時又 過來抓取瞭一次。

百度蜘蛛來威戈箱包網每次都是直奔首頁,對robots.txt置若罔聞,說明百度蜘蛛還是有點暴力的你的聲明我不在乎!同時對於一個新接觸的站,百 度隻關註首頁,對內頁不聞不問。

從三個蜘蛛的爬行規律來看,站長們應當及時更新站點,尤其是首頁,一定要保持每天的更新狀態。對於新站,如果想要迅速引起蜘蛛的興趣,可以考慮少食多 餐的做法,每隔一段時間就發一篇文章,這個效果比一次性發出所有的效果好。