Spider系統的目的就是發覺並抓取互聯網中一切有價值的網頁，百度官方也明確表達蛛蛛只可以抓取到盡有可能多的有價值資源並維持系統及實際背景中頁面的完全一樣性同時不給網站體驗認識導致壓力，也就是說蛛蛛不會抓取全部網站的全部頁面，對此蛛蛛有眾多的抓取策略來盡力快而全的發覺資源鏈接，增長抓取速率。只有這麼蛛蛛能力盡力滿意絕大多網站，這也是為何我們要做好網站的鏈接結構，接下來木木SEO就只針對一種蛛蛛對翻頁式網頁的捕獲機制來刊發一點兒看法。(本文暫不考率其他抓取機制，單從一個點剖析)

　　為何需求這個抓取機制?

　　現時大部分數網站都用翻頁的方式來有序散布網站資源，當有新文章增加時，老資源以後推移到翻頁系列中。對蛛蛛來說，這種特別指定類型的引得頁是爬動的管用渠道，不過蛛蛛爬動頻率和網站文章更新頻率不盡相同，文章鏈接很可能就被推到翻頁條中，這麼蛛蛛沒可能每日從第一個翻頁條爬到第80個，而後一個文章一個文章的抓取，到數值庫相比較，這麼太耗費蛛蛛時間，也耗費你網站的收錄時間，所以蛛蛛需求對這種特別類型的翻頁式網頁來一個另外的抓取機制，因此保障收錄資源的絕對。

　　怎麼樣判斷是否是有序翻頁式頁面?

　　判斷文章是否按宣布時間有序排布是這類頁面的一個不可缺少條件，下邊會說到。那末怎麼樣判斷資源是否按宣布時間有序排布呢?有點頁面中每個文章鏈接後面尾隨著對應的宣布時間，經過文章鏈接對應的時間聚齊，判斷時間聚齊是否按大到小或小到大排序，若是的話，則解釋明白網頁中的資源是按宣布時間有序排布，與之相反亦然。就算沒寫宣布時間，蛛蛛寫可以依據文章本身的實際宣布時間施行判斷。

　　該抓取機制原理?

　　針對這種翻頁式頁面，蛛蛛主要是經過記錄每每抓取網頁發覺的文章鏈接，而後將此次發覺的文章鏈接與歷史上發覺的鏈接作比較，假如有交集，解釋明白該次抓取發覺了全部的新增文章，可以休止對後面翻頁條的抓取了;否則，解釋明白該次抓取並未發覺全部的新增文章，需求接著抓取下一頁甚至於下幾頁來發覺全部的新增文章。

　　聽起來有可能有些半大懂，木木seo來舉個很簡單的例子，譬如在網站翻頁目次新添加了29篇文章，也就是說上次最新一篇是第30篇，而蛛蛛是一次性抓取10篇文章鏈接，這麼蛛蛛首次施行抓取時抓了10篇，與上次並沒有交集，接著抓取，第二次又抓10篇，也就是總共抓20篇了，仍然與上一次沒有交集，而後接著抓取，這一次就抓到達第30篇，也就是和上次的有交集了，這就解釋明白蛛蛛已經抓取了從上次抓取到這次網站更新的所有29篇文章。

　　提議

　　現時百度蛛蛛對網頁的類型，網頁中翻頁條的位置，翻頁條對應的鏈接，以及列表是否依照時間排序都會做相應的判斷，並依據實際的事情狀況施行處置，不過蛛蛛畢竟不可以做到100百分之百的辨別正確率，所以假如站長在做翻頁條時不要用JS，更不要用FALSH，同時要有頻率的施行文章更新，合適蛛蛛的抓取，這麼就可以莫大地增長蛛蛛辨別的正確率，因此增長蛛蛛在你網站的抓取速率。

　　再次提示大家本文只是從蛛蛛一個抓取機制施行的解說，不代表蛛蛛到此一種抓取機制，在實際事情狀況中是眾多機制同時施行的。筆者：木木SEO http://blog.sina.com.cn/mumuhouzi