搜索引擎網站面臨海量的網頁，它們並不是平行的抓取每一個網頁，由於不管搜索引擎網站數值庫怎麼擴大，都是沒有辦法跟上網頁的提高速度，搜索引擎網站會優先抓取最關緊的網頁，一方面節約數值庫，一方面臨平常的的用戶也是有利的，由於，對用戶來說，它們並不必海量的最後結果，只消最關緊的最後結果。所以說一個好的尋找收集策略是優先尋找收集關緊的網頁，以便能夠在最短的時間內把最關緊的網頁抓取過來。

　　那末搜索引擎網站怎麼樣首先抓取最關緊的網頁?

　　經過對海量的網頁特點標志剖析，搜索引擎網站覺得關緊的網頁就象下所述的基本特點標志，固然不盡然絕對正確，不過大部分數時刻的確就是這樣：

　　1) 網頁被其它的網頁鏈接的獨特的地方，假如被鏈接的頻繁還是被關緊的網頁所鏈接，則是很關緊的網頁;

　　2) 某網頁的父網頁被鏈接的頻繁還是被關緊的網頁所鏈接，譬如一個網頁是一個網站的內頁，不過其首頁被鏈接的頻繁，而首頁也鏈接了這個網頁，則解釋明白這個網頁也比較關緊;

　　3) 網頁的內部實質意義被過載廣泛散布的廣。

　　4) 網頁的目次深度小，便於用戶瀏覽到。 這處定義URL 目次深度為：網頁 URL 中去掉除掉域名局部的目次層級，即URL 為，則目次深度為 0;若是 /cs，則目次深度為 1，一次類推。需求解釋明白的是，URL 目次深度小的網頁並非老是關緊的，目次深度大的網頁也並非全不關緊，有點學術論文的網頁 URL 就有很長的目次深度。大多數關緊度高的網頁會同時具備上面所說的 4 個特點標志。

　　5)優先使聚在一起網站首頁，並給予首頁高的權重值。網站數量遠小於網頁數，況且關緊的網頁也定然是從這些個網站首頁鏈接以往的，因為這個尋找收集辦公應該優先取得盡有可能多的網站首頁。

　　這處問題就隨之顯露出來，搜索引擎網站著手抓取網頁的時刻，有可能既不曉得網頁被鏈接的事情狀況也不曉得被過載的事情狀況，換言之，最著手的時刻他並不可以曉得面前3項的特點標志，這些個因素只能在取得網頁或幾乎全部的 Web 鏈接結構在這以後能力夠曉得。那末怎麼解決這個問題呢?那就是特點標志4和5是可以在抓取的時刻就能曉得的，只有特點標志 4 是不必曉得網頁的內部實質意義(沒有抓取網頁之前)就可以確認某個 URL 是否合乎關緊的標准，並且網頁 URL 目次深度的計算就是對字符串的處置，計數最後結果表明普通的 URL 長度都小於 256 個字符，這要得 URL 目次深度的辨別便於成功實現。所以對於尋找收集策略確實認，特點標志 4 和5是最值當思索問題的引導因素。

　　不過，特點標志 4 和5具備限制性，由於鏈接的深度並不可以絕對表明這個網頁的關緊程度。那末怎麼解決這個問題?搜索引擎網站認為合適而使用如下所述的方法：

　　1) URL 權值的設定：依據 URL 的目次深度來定，深度是若乾，權值就減損若乾，權值最小為零。

　　2) 設定 URL 起初權值為 一個固定的數字 。

　　3) URL 中顯露出來字符/，? ，或& 1 次, 則權值減 一個數字 ，出

　　現search，proxy，或gate 1 次，則權值減一個數字;最多減到零。(裡面含有?，

　　或& 的URL 是帶參變量的方式，需求通過被煩請方手續服務取得網頁，不是搜索引擎網站系統偏重的靜態網頁，因為這個權值相應減低。裡面含有search，proxy，或gate ，解釋明白該網頁莫大有可能是搜索引擎網站中檢索的最後結果頁面，攝理頁面，因為這個要減低權值)。

　　4) 挑選未過訪 URL 的策略。由於權值小不盡然解釋明白不關緊，所以有不可缺少

　　給一定的機緣尋找收集權值小的未過訪 URL 。挑選未過訪 URL 的策略可以認為合適而使用輪番的辦法施行，一次依照權值排序取，一次隨機取;還是 N次隨機選取。

　　當搜索引擎網站抓取了數量多的網頁的時刻，而後進入了到一個階段，對網頁施行面前3個特點標志的判讀，再經過數量多的算法判斷網頁的品質，而後給與相對的名次。

　　本文由51荷葉茶/站長原創供給