通過查看蜘蛛爬行日志來學網站優化

最近百度大更新,我想許多站長都再鬱悶之中。SEO做的好好的突然之間全給K瞭,有些站長埋怨百度太不留情瞭。25號的時候我的網站也未能幸免手裡的三個網站,兩個的首頁關鍵詞被K瞭。還好我有心理準備,因為以前遇到過這種情況瞭,所以不會十分緊張。隨後我在網上就看到瞭大量的咨詢網站首頁關鍵詞被K的問題。看來這次是百度大規模的行動,據我估計將近一半的SEO網站都受到瞭這樣的懲罰,雖然不知道百度的目的是什麼但是既然這麼多人都被懲罰瞭,我們就沒什麼好擔心的瞭。

那麼如何恢復我們的網站呢?我對首頁關鍵詞被K 的經驗是,找不到任何線索證明什麼地方那個被百度懲罰瞭,因為網站的所有SEO指標會很正常,除瞭關鍵詞沒有排名根本看不出任何被懲罰的痕跡,但是當過一段時間大傢就會發現,網站的收錄量會在一個時間內忽然減少到幾乎沒有瞭。這給許多站長一個錯覺,網站被百度K瞭,其實不是,因為你權重高的網頁一個也不會少,被K的頁面全部都是單頁面。而且百度會在以後的幾個月裡重新收錄你的網頁直到恢復正常。既然沒有根據我們如何做恢復工作就是一個頭疼的問題瞭,難不成將所有做過的SEO都去掉。如果這樣做瞭就要再重新的排名,沒有一點挽回的餘地瞭。

我們與百度能夠交流的唯一途徑就是百度蜘蛛,它可以很客觀的反應出百度對我們網站的態度。查看蜘蛛爬行日志是SEO很重要的一個工作,因為掌握瞭這個技巧你就能夠根據百度的喜好來優化自己的網站瞭。就那我的北京解放軍261醫院的網站為例:

2010-09-27 00:01:20 W3SVC703063104 WD2C176 122.70.185.23 GET /zlxm/10619.html – 80 – 123.125.66.42 HTTP/1.1 Baiduspider+(+/search/spider.htm) – – 200 0 0 16724 207 93

這是百度蜘蛛今天爬行我網站的記錄,日期我就不必說瞭,W3SVC703063104 WD2C176 這個是日志存放的文件,WD2C176 122.70.185.23 這個IP是蜘蛛訪問你的頁面地址,GET /zlxm/10619.html – 80 GET是蜘蛛訪問的方式表明已經收錄瞭這個頁面。

123.125.66.42 HTTP/1.1 Baiduspider+(+/search/spider.htm) 這串代碼是代表什麼搜索引擎訪問的你的網站Baiduspider 是表示百度蜘蛛訪問的你的頁面,前面的是百度蜘蛛的IP地址。

最重要的一個地方是返回指令200,200是代表訪問成功。

看懂瞭這些,我們就能夠通過蜘蛛的爬行記錄來判斷網站到底是什麼地方出瞭問題,比如說,某一個頁面蜘蛛爬行次數忽然的增多或者減少,就說明百度認為這個頁面有問題,那麼你就要重點關註一下這個頁面是不是存在過度優化的問題。如果百度蜘蛛在很多頁面上都返回瞭錯誤的代碼指令,那麼一定要及時的修改網站,避免蜘蛛減少爬行次數,影響快照更新。

正常的蜘蛛爬行是首頁次數最多,然後是欄目頁,最後是內容頁,首頁的頁面隻能有一個頁面被爬行,如果你有很多種形式的首頁文件,最好將其他形式的文件加上robots文件或者是nofollow標簽,以避免蜘蛛分不清哪一個是真正的首頁頁面。

文章寫得不是特別全面,我會繼續更新完善蜘蛛爬行方面的知識,敬請關註。 筆者:囂幫