榮文:百度快照不更新 請“檢討”robots.txt文件

這幾天榮文被一個單子折騰的半死,外鏈加瞭不少,但是就不見網站排名上升,一直上不到首頁,一直是在第二頁遊來遊去,好的時候第一頁,差的時候第二頁,我還以為是人工詞瞭,但是發現不是排名第一頁的都是一些網站的內頁。本來這個單子早就該上瞭,但是由於同事的疏忽將汗蒸館做成瞭汗蒸房,現在的問題就是網站快照不更新,標題裡全部是汗蒸房的詞,搜索汗蒸館排名靠不瞭前也是理所當然瞭。

網站排名上不瞭首頁,都是快照惹的禍

在百度裡搜索汗蒸館一下你會發現,前幾名網站的標題全部是汗蒸館開頭的詞,當然細心的朋友肯定會發現:百度將汗蒸館這個詞分成瞭汗蒸和汗蒸館這兩個詞。我現在做的單子排名第二頁也就是汗蒸這個詞起的作用。外鏈我一直是以汗蒸館這個詞組在做。我的單子外鏈比其它網站都要多,我想排上首頁,最好的方法就是刷新快照。

網站首頁不搜索,蜘蛛隻抓取瞭robots.txt就走瞭

榮文在IIS裡面看到瞭baiduspider的蹤影,但是看一次傷心一次!本以為蜘蛛來瞭,肯定會帶走點什麼東西,哎!沒有想到,帶走的隻是robots.txt文件。如下:

2010-07-05 22:00:34 W3SVC559 210.52.223.69 GET /robots.txt – 80 – 220.181.7.47 Baiduspider

這個情況一直持續瞭2個多星期,甭管百度大更新小更新,它都是抓瞭robots.txt文件就走。一開始我把robots.txt刪除瞭,蜘蛛提示404,但是這樣不太有好,蜘蛛也沒有爬下去,這種方法不可取。

做百度sitemap,要麼不做,要做就做好

我的解決方法是在robots.txt中去除瞭sitemap這個參數,因為我的網站sitemap太難看瞭。大傢可以去看看大網站的網站地圖,結構清楚,層次分明,但是小站長一般不會這麼費盡的,搜索一個sitemap在線生成文件就可以瞭,這種方法方法xml版的還可以,但是html版的不太好。

其一:生成的全部是table,不利於蜘蛛爬行。

其二:網站裡面細心看還有廣告,這個不多說。

其三:像我接的這些單子,多數是asp版的程序,或許因為開始設計的時候他們偷懶,好幾個欄目共用一個頁面,所以N多頁面標題都一樣,這樣的sitemap別說蜘蛛,就連你自己看瞭也很不爽吧。

本文是由北京新也裝修公司站長首發,轉載請務必保留出處:電子圍欄 /