網站建設中一項關緊的辦公就是改版，每每改版肯定是往好的方面施行，由於每個階段的定位不一樣，我們要網站所表達的公司形象也不一樣，並且一個悅目大氣的網站完全能夠在潛伏客戶心中提高我們企業的地位。不過大多數的改版對於我們網站的SEO都會導致一定的影響，這處就需求我們對網站的事情狀況掌握的十分知道得清楚在這以後，而後行管用地扼制，減損改版導致的404頁面過多事情狀況。

　　近來有一個新網站上線，由於是一年多的域名，之前網站和新站內部實質意義絕對不一樣，網站結構也做了非常大的調試，所以帶來了眾多的404不正確抓取頁面，當初並沒有加意這個問題，後來連續不斷更新了2個星期左右，發覺快照都沒有更新，發了一點簡單的外鏈也沒管用用，這個問題就引動了我的注意。下遮擋面部的東西體的跟大家剖析下自個兒的一點思考的線索：

　　1、利用日記剖析工具找到404不正確抓seo取頁面

　　日記剖析工具利用最常用的光年日記剖析工具就可以了，首先利用FTP下載好近日的網站LOG日記，當然，想更多的剖析，那末多下載時期的LOG日記也可以，利用日記剖析工具新建擔任的工作剖析各個階段的百度蛛蛛抓取事情狀況，這處主要思索問題百度抓取事情狀況，由於樹立這個剖析辦公的前提是快照停滯，收錄為1。

　　這處提議大家分為三個時間段來剖析：

　　A、剖析近來一天的LOG日記，可以是今日的，不過最好是昨日的，由於昨日的會比較全，今日的你縱然是晚上來剖析也會有一小批時間沒有計數到。

　　B、剖析改版在這以後的LOG日記，由於這牽涉到到百度蛛蛛對於網站改版的一點判斷，例如我們可以剖析百度蛛蛛啥子時刻著手判斷網站已經改版，還是啥子時刻已經讓步對於舊站URL的抓取等等。

　　C、改版前後抓取量的相比較，剖析改版對於百度蛛蛛的抓取量影響多大。

　　至於日記剖析辦公後面的剖析辦公都是一鍵式的，具體的剖析思考的線索有了在這以後，我們對照著施行剖析，便會找到眾多日常我們不擁有注意到的問題，例如下所述面出來改版導致的404頁面，還有不少的頁面也是404不正確，我並沒有認識到，例如下所述面的wp-login.php頁面就是一個最典型的例子：

　　

　　404不正確抓取頁面

　　2、利用百度站長工具中的死鏈提交處理工具施行死鏈提交處理

　　百度站長平臺LEE團隊說：404狀況碼代表‘Not Found’，spider更新特殊情況覺得該頁面已失去效力，此時呢將在引得庫中刪去，短期內spider再次發覺該url不再會抓取。當然，百度的講法只能作參照，由於剖析網站日記發覺，2個多星期百度蛛蛛仍然來抓取這些個不正確頁面，當然，百度對於404不正確頁面的引導性操作，仍然十分有針對性的。

　　

　　百度站長平臺對404頁面的看法

　　尤其是死鏈提交處理工具中提交處理死鏈sitemap，這一條大家可以依據自身的事情狀況施行死鏈提交處理，我這邊提交處理後短時間之內還沒有大的效果，由於大家都曉得百度的效果展出周期普通都比較長。

　　3、利用robots.txt和nofollow標簽指導蛛蛛抓取

　　404不正確頁面一個最大的害處就是給蛛蛛帶來一點不正確的抓取，耗費了蛛蛛抓取資源，舉個例子，首先我們要得到這麼的一個共識：不論什麼一個網站的蛛蛛抓取過訪資源都是有限的，小網站天然要少眾多，而大網站就要多眾多，要想蛛蛛抓取率更高，抓取的更合理，那麼些不正確的鏈接導致的404不正確量就要盡有可能的減損。

　　所以我這處針對網站的這些個資源的耗費施行了合適的指導，讓蛛蛛抓取我想讓他抓的一點頁面，對於/wuchenshi/、/gaoxiao/等大致相似的欄目頁面都施行robots限止抓取，對於網站中一點不參加名次的鏈接實施nofollow，指導蛛蛛抓取關緊頁面。下邊看看蛛蛛6.3號抓取的事情狀況，首先目次抓取中已經沒有了網站中不存在的目次：

　　

　　蛛蛛對目次的抓取事情狀況

　　對於蛛蛛過訪的404頁面，就只餘下一個圖片的404不正確抓取：

　　

　　改進後404不正確抓取

　　到現在為止還沒有看快照更新和收錄增加，當然，理論上這種操作應當會幫忙網站更快的取得搜索引擎網站的許可，後面假如有還原，會在文章中為大家做一個補給。