1、 頁面抓取需求快而各個方面

　　我們曉得，互聯網是一個動態的seo內部實質意義更新，每日都會有眾多人在互聯網上宣布新內部實質意義，還是更新老內部實質意義，搜索引擎網站就是要從這些個海量的信息中抓取最合乎用戶搜索意向的網頁，面臨已經存在的海量信息並且每秒鍾還在幾何級提高的信息量，搜索引擎網站的辦公量是很大的，搜索引擎網站手續每更新一次手續要花許很長時間間的，尤其是在剛誕生的時刻，更新的周期有時竟至能達到幾個月更新一次，試著想想一下子，在幾月內又會有若乾網頁更新和新萌生了呢?這麼的搜索最後結果往往是落後的。

　　要想回返最好的搜索最後結果，搜索蛛蛛務必抓取盡力比較各個方面的網頁，這就需求搜索引擎網站解決很多技術上的問題。也是它面對的主要挑戰。

　　2、 海量儲存數值

　　互聯網上的信息是很大的，大的幾乎你不可以想像，並且每日還會有很多新的信息萌生，搜索引擎網站再抓取了這些個頁面後，還務必以一定的數值款式儲存起來，數值結構要求合理，並且要具有十分高的擴展性。數值寫入速度要很快，過訪的速度也經足夠快。

　　搜索引擎網站除開要儲存數量多的頁面本身信息外，為了更好的施行引得及排序，還一定要儲存頁面與頁面之間的鏈接關系，頁面的歷史數值，以及很多引得信息。這些個數值量都是十分很大的。這麼大規模的數值儲存和讀取肯定存在眾多技術方面的挑戰。

　　3、 引得處置迅速管用，並且要有可擴展性

　　搜索引擎網站將頁面數值抓取和儲存後，還要施行很多頁面的引得處置。例如頁面之間鏈接關系的計算，正向引得、逆向引得等。例如還有谷歌的PR計算等，搜索引擎網站務必施行數量多的引得辦公能力迅速的回返搜索最後結果，並且施行引得的過程中，還有數量多的新頁面在萌生，搜索引擎網站的引得處置手續還要有比較好的擴展性。

　　4、 查問處置迅速正確

　　前面那幾步都是在搜索引擎網站的後臺手續運行的，而查問階段是用戶能夠看見最後結果的一個步驟。我們在搜索引擎網站的搜索框中輸入網站關鍵詞點擊搜索後，往往不到一秒鍾時間搜索引擎網站就能夠回返最後結果給我們，固然外表看起來簡單，可是對於搜索引擎網站來說，卻是一個十分復雜的過程。裡面涉及眾多算法。它需求在不到一秒的時間內迅速從合乎基本條件的網頁中找到合理的頁面，名次在搜索引擎網站的前面。我們曉得，百度是最多我們可以看見76頁的最後結果，谷歌要多一點兒，可以看見最多100頁的最後結果。文章出處：/過載請注明來源，謝謝