網站SEO問答11期:網站每天被蜘蛛爬N遍,為何收錄很少?

前言:最近半年,黃忠一直在做企業SEO問題解答活動,主要目的很簡單:為瞭幫助廣大企業站長和SEO從業者能夠快速的解決問題從而提升自身能力,所以問題解答這塊也就一直持續到現在!我相信很多人都得到瞭我的幫助,同時我也收集瞭各種各樣的優質問題。當然,我會不斷的把問題解決後分享給大傢!

聲明:由於站長提問的問題過於簡單或不工整,我這邊有做文字上的處理,但原意都不變!

以下內容為第11期問答實錄:

問題簡寫一:網站每天都被蜘蛛爬N遍,收錄的網頁為何隻有一兩篇?

問:黃老師你好,我的企業網站上線有一段時間瞭,原創文章每天也都在堅持更新,但就是不怎麼收錄,後來我分析瞭一下網站日志,發現百度爬蟲每天都來爬N遍。我就鬱悶瞭,為什麼蜘蛛每天都來爬行,我的內容頁收錄的這麼少呢?是不是進沙盒瞭?還是內容質量不行?

答:一般來說新站都會遇到這樣的問題,而且很多SEO人員都遇到過,那種焦急的狀態我也是很理解的。通常我都會讓他們去觀察,如果觀察一段時間且很長一段時間內都是這樣的話,那可能是你的網站內容存在問題。無論蜘蛛抓你千百遍都不怎麼收錄,這就說明你網站的內容不值得被索引。其實很多權重高的網站被降權瞭也會出現這樣的情況。所以,建議你從內容上做檢查。

問題簡寫二:網頁被robots瞭,為什麼還會被百度收錄?

問:黃忠老師,這個問題困惑我很久瞭,為什麼我網站的網頁被robots屏蔽瞭之後,我從網站日志分析後還會能看到被百度抓取和收錄呢?不是說屏蔽瞭以後就不會被抓取和收錄瞭嗎?這些頁面都是我們老板千叮萬囑不讓展現在百度的,現在都不知道怎麼交差瞭,求解釋。

答:我經常遇到這樣的情況,很多人都來問我:為啥屏蔽瞭的頁面還被抓取?這裡我簡單的說下吧,一般有兩種情況:

第一種是:對已經收錄的網頁使用robots屏蔽,老網頁按照robots規則的刪除時間會很長,這個時候可能會造成百度沒有遵守robots規則。

第二種情況是:如果你屏蔽的頁面或欄目存在大量的外鏈,那麼這個網頁或欄目的URL會被百度收錄,但內容不會被百度索引,一般這樣的多見於首頁域名。當然,如果你連URL都不想被收錄,可以針對蜘蛛返回404即可。

問題簡寫三:B2B網站上下架的產品返回404還是200狀態碼?

問:黃老師,我們B2B網站上很多產品都等待下架,還有很多用戶自主刪除的產品頁面,我想返回404錯誤頁面,但是數量太多,怕百度認為我網站上存在大量的死鏈。如果返回200,怕欺騙搜索引擎,所以,現在我也不知道怎麼辦才好,想讓黃老師給個建議。

答:這個是黃忠SEO兄弟VIP圈子裡的成員提問的問題,我給收錄進來瞭。我簡單的說下這個解決方法:建議為產品下降的頁面返回404狀態碼,不要返回200狀態碼。一般來說,隻要正確的返回404是對網站沒有任何影響的,還可以減少蜘蛛抓爬給服務器造成的負擔。如果死鏈較多,我們可以讓技術設計一個自動生成死鏈地圖的程序,任何刪除行為都自動把鏈接寫到指定鏈接文件裡去,然後在百度站長平臺提交死鏈即可。

另外,商城網站產品下架其實這個是最常用的。

問題簡寫四:還沒有做好的頁面已經解析域名瞭,是做404還是503?

問:我們這邊的技術經常做一些新頁面的建設,每次整的頁面在開發的時候就被百度收錄瞭,弄的我很無語的。我想問下是給他們做404還是503?哪個更好一些?

答:一個建議,盡量不要使用404狀態碼給為創建好的頁面做返回,能用503的建立用503,這樣可以讓蜘蛛更好的去識別它。其他的沒什麼建議瞭。

問題簡寫五:現在外鏈還重要嗎?企業網站該怎麼做有效性的外鏈?

問:黃忠老師,很多都說百度現在不重視網站外鏈建設瞭,不知道是不是真的,搞的我們公司的企業網站都沒法做外鏈瞭,現在網站排名也停滯不前瞭。另外,在問一個小白的問題:企業網站該怎麼做有效性的外鏈?求指導。

答:百度搜索引擎已經降低瞭外鏈的重視程度,但外鏈建設還是需要繼續做的,隻是質量的好壞決定瞭外鏈對你網站的重要程度。而企業網站怎麼做外鏈呢?我可以簡單的說下,希望對你有幫助:

①:友情鏈接,這個不用多說瞭,大傢都知道。

②:選擇針對性或相關性的外鏈平臺發原創文章做外鏈

我舉個例子:

比如我做的是牛蒡茶,這個屬於養生茶,我就可以選擇一些優質的B2B平臺做外鏈。

註意,B2B裡面有很多分類,那麼我就找養生茶方面的分類。然後,外鏈內容要原創,而且要先發佈在自己的網站上,12小時後在發佈到B2B,並帶上內頁鏈接。

當然,如果有養生門戶方面的外鏈資源,也可以去發佈外鏈,比如39健康網,不過這樣的一般都是付費的。

③:結合自己優化網站的經驗,寫SEO經驗心得文章,投稿A5和Chinaz

你優化瞭這麼久的網站SEO,多多少少都會積累一些經驗心得,那麼你就可以結合你這個網站寫一些SEO方面的經驗心得文章,然後發佈在A5或者站長之傢。

比如:食品類型的企業網站如何做好外鏈建設,可以結合這個去寫出你的經驗心得文章,以總分總的格式去寫,底部帶上首頁鏈接即可。

這樣的外鏈雖然沒有針對性,但有相關性。 和食品類型的網站有相關性,百度也比較重視。

問題簡寫六:404錯誤頁面訪問後直接跳轉首頁,有哪些弊端?

問:你好黃老師,我們的企業網站經常刪除一些內容頁,我們是想把這些刪除掉的頁面跳轉首頁,不知道這樣做有哪些弊端?

答:不建議跳轉到首頁,因為這種操作是對搜索引擎不友好的設置,會讓搜索引擎認為網站上有大量與首頁內容相同的頁面。

歡迎添加黃忠的個人微信號 343031031 一起交流與互動SEO。