對SEO(搜索引擎網站優化)而言，讓網站內的頁面能夠趁早、各個方面地被搜索引擎網站引得、收錄應當說是首要的擔任的工作，這是實行其它SEO策略的最基本保障。——然而，這也是往往易被過高估計的一個環節，譬如說我們時不時可以看見某些人聲稱自個兒的網站被Google收錄了若乾頁面如幾K甚至於幾十K等以證實SEO辦公的成功。但客觀地說，網頁僅只被搜索引擎網站引得、收錄是沒有太大的實際意義，往往只能淪為浩如煙海的Internet世界中的隨葬品，更關緊的是怎麼樣讓網頁顯露出來在針對特別指定搜索項的SERP(搜索最後結果頁面)前幾頁。——人們信任，讓網站內盡有可能多的頁面被收錄進搜索引擎網站引得數值庫到底不是一件壞事，網頁越多，曝光的機緣也便越大，固然最後效果怎麼樣存在疑問。
Anyway，假如在對網站實行SEO時將重點放在網頁被引得、收錄的速度與速率，當然也未可厚非，而要想成功實現這一點兒，需求我們對搜索引擎網站怎麼樣收錄、引得網頁的機制有所理解。下邊我們以Google為例，紹介搜索引擎網站收錄、引得網頁的過程，期望能對朋友們有後助益。——對其它搜索引擎網站如Yahoo!、Live搜索及百度而言，盡管有可能在具體細節上存在區別，然而，基本策略應當是大致相似的。
1、使聚在一起待引得網頁的url
Internet上存在的網頁數目完全是個極大的數字，每日新增的網頁也數量極多，搜索引擎網站需求首先找到要引得收錄的對象。
具體到Google而言，固然對GoogleBot是否存在DeepBot與FreshBot的差別存在爭議——至於是否叫這樣兩個姓名更是眾說紛耘，當然，姓名本身並不關緊——至少到到現在為止截止，主流的看法是，在Google的robots中，確實存在著相當局部專門為真正的引得收錄頁頁准備素材的robots——在這處我們暫且仍稱之為FreshBot吧——他們的擔任的工作便是每日不斷地電子掃描Internet，以發覺並保護一個極大的url列表供DeepBot運用，換句話說，當其過訪、讀取其一個網頁時，目標並不在於引得這個網頁，而是找出這個網頁中的全部鏈接。——當然，這麼仿佛好象在速率上存在矛盾，有些不太可信。然而，我們可以簡單地經過以下形式判斷：FreshBot在電子掃描網頁時不具有排它性，也即是說，位於Google不一樣的數值核心的多個robots有可能在某個很短的時間周期，譬如說一天甚至於一鍾頭，過訪同一個頁面，而DeepBot在引得、緩存頁面時則不會顯露出來大致相似的事情狀況，即Google會限止由某個數值核心的robots來完成這項辦公的，而不會顯露出來兩個數值核心同時引得網頁同一個版本的事情狀況，假如這種講法沒有漏洞的話，則仿佛好象可以從服務器過訪日記中時不時可以看見源自不一樣IP的GoogleBot在很短的時間內多次過訪同一個網頁證實FreshBot的存在。因為這個，有時發覺GoogleBot次數多過訪網站也不要雀躍太早，或許其根本不是在引得網頁而只是在電子掃描url。
FreshBot記錄的信息涵蓋網頁的url、Time Stamp(網頁開創或更新的時間戳)，以及網頁的Head信息(注：這一點兒存在爭議，也有不少人信任FreshBot不會去讀取目的網頁信息的，而是將這局部辦公交由DeepBot完成。然而，作者傾向於前一種講法，由於在FreshBot向DeepBot提交處理的url列表中，會將網站設置嚴禁引得、收錄的頁面擯除在外，以增長速率，而網站施行此類設置時除運用robots.txt外還有相當局部是經過mata標簽中的noindex成功實現的，不讀取目的網頁的head仿佛好象是沒有辦法成功實現這一點兒的)，假如網頁不可以過訪，譬如說網絡中斷或服務器故障，FreshBot則會記下該url並擇機重試，但在該url可過訪之前，不會將其參加向DeepBot提交處理的url列表。
總的來說，FreshBot對服務器帶寬、資源的佔用仍然比較小的。最終，FreshBot對記錄信息按不一樣的優先級施行分類，向DeepBot提交處理，依據優先級不一樣，主要有以下幾種：
A：新建網頁；
B：舊網頁/新的Time Stamp，即存在更新的網頁；
C：運用301/302重定向的網頁；
D：復雜的動態url，如運用多個參變量的動態url，Google有可能需求附帶加上的辦公能力准確剖析其內部實質意義。——隨著Google對動態網頁支保有經驗的增長，這一分類有可能已經消除；
E：其它類型的文件，如指向PDF、DOC文件的鏈接，對這些個文件的引得，也有可能需求附帶加上的辦公；
F：舊網頁/舊的Time Stamp，即未更新的網頁，注意，這處的時間戳不是以Google搜索最後結果中顯露的日子為准，而是與Google引得數值庫中的日子比對；
G：不正確的url，即過訪時回返404回答的頁面；
優先級按由A至G的順著次序排列，順次減低。需求說的是，這處所言之優先級是相對的，譬如說一樣是新建網頁，依據指向其的鏈接品質、數目的不一樣，優先級也有著非常大的差別，具備源自有關的權威網站鏈接的網頁具備較高的優先級。這個之外，這處所指的優先級僅針對同一網站內裡的頁面，事情的真實情況上，不一樣網站也有有著不一樣的優先級，換句話說，對權威網站中的網頁而言，縱然其最低優先級的404 url，也有可能比很多其它網站優先級無上的新建網頁更具優勢。
2、網頁的引得與收錄
接下來纔進入了真正的引得與收錄網頁過程。從上頭的紹介可以看出，FreshBot提交處理的url列表是相當極大的，依據語言、網站位置等不一樣，對特別指定網站的引得辦公將分配至不一樣的數值核心完成。整個兒引得過程，因為極大的數值量，有可能需求幾周甚至於更長時間能力完成。
正如上所述文所言，DeepBot會頭先引得優先級較高的網站/網頁，優先級越高，顯露出來在Google引得數值庫及至最後顯露出來在Google搜索最後結果頁面中的速度便越快。對新建網頁而言，只要進入了到這個階段，縱然整個兒引得過程沒有完成，相應的網頁便已具有顯露出來在Google引得庫中的有可能，信任很多朋友在Google中運用site:admin5.com搜索時不時常看見示明為補給最後結果只顯露網頁url或只顯露網頁題目與url但沒有描寫的頁面，此即是處於這一階段網頁的正常最後結果。當Google真正讀取、剖析、緩存了這個頁面後，其就會從補給最後結果中逃出而顯露正常的信息。——當然，前提是該網頁具備足夠的鏈接，尤其是來自權威網站的鏈接，況且，引得庫中沒有與該網頁內部實質意義相同或近是的記錄(Duplicate Content過淋)。
對動態url而言，固然現在Google聲稱在對其處置方面已不存在絆腳石，然而，可以仔細查看到的事情的真實情況還是顯露動態url顯露出來在補給最後結果中的概率長遠於運用靜態url的網頁，往往需求更多、更有價值的鏈接能力從補給最後結果中逸出。
而對於上文中之F類，即未更新的網頁，DeepBot會將其時間戳與Google引得數值庫中的日子比對，明確承認盡管有可能搜索最後結果中相應頁面信息未趕得及更新但只要引得了最新版本即可——思索問題網頁多次更新、改正的事情狀況——；至於G類即404 url，則會查尋引得庫中是否存在相應的記錄，假如有，將其刪去。
3、數值核心間的同步
前文我們提到過，DeepBot引得某個網頁特殊情況由特別指定的數值核心完成，而不會顯露出來多個數值核心同時讀取該網頁，作別取得網頁近來版本的事情狀況，這麼，在引得過程完成後，便需求一個數值同步過程，將網頁的最新版本在多個數值核心獲得更新。
這就是之前聞名的Google Dance。然而，在BigDaddy更新後，數值核心間的同步不再象那樣子集中在特別指定的時間段，而是以一種蟬聯的、時間性更強的形式施行。盡管不一樣數值核心間仍存在一定的差別，但差別已經半大，並且，保持的時間也很短。
增長搜索引擎網站引得收錄網頁的速率，依據上頭的紹介，可以看出，要想讓您的網頁盡有可能快、盡有可能多地被搜索引擎網站收錄，至少應從如下所述幾方面施行優化：
增長網站反相鏈接的數目與品質，源自權威網站的鏈接可以讓您的網站/網頁在第1時間內被搜索引擎網站看見。當然，這也是老生常談seo了。從上頭的紹介可以看出，要增長網頁被搜索引擎網站收錄的速率，首先要讓搜索引擎網站找到您的網頁，鏈接是搜索引擎網站找到網頁的惟一路徑——惟一一詞存在些須爭議，見下邊的SiteMaps局部——從這個角度看，向搜索引擎網站提交處理網站什麼的的做法沒有不可缺少且無謂，相對而言，要想讓您的網站被收錄，取得外部網站的鏈接纔是根本，同時，高品質的鏈接也是讓網頁步出補給最後結果的關鍵因素。
網頁預設要秉持搜索引擎網站友善的原則，從搜索引擎網站spider的視角預設與優化網頁，保證網站的內裡鏈接對搜索引擎網站可見，相對於取得外部網站鏈接的困難程度，合理計劃的內裡鏈接是增長搜索引擎網站引得與收錄速率更經濟、管用的路徑——錯非網站根本未被搜索引擎網站收錄。
假如您的網站運用動態url，還是導航點菜單運用JavaScript，那末，當在網頁收錄方面碰到絆腳石時，應首先從這處開始。
運用SiteMaps。事情的真實情況上，人們覺得Google消除了FreshBot的一個主要端由便是SiteMaps(xml)協議的廣泛應用，覺得這麼只需讀取網站供給的SiteMaps便可獲得網頁更新信息，而不需FreshBot耗時費勁地電子掃描。這種講法仍然有一定道理的，固然到現在為止不可以確認Google到底直接運用SiteMaps作為DeepBot的引得列表仍然用做FreshBot的電子掃描路標，但SiteMaps能夠增長網站引得收錄的速率則是無需爭辯的事情的真實情況。譬如說，SEO考求曾做過如下所述的測試：
兩個網頁，取得的鏈接事情狀況相同，一個參加SiteMaps而另一未參加，顯露出來在SiteMaps中的網頁很快被收錄，而另一個頁面則在過了多時後纔被收錄；
某個孤島頁面，沒有不論什麼指向其的鏈接，但將其參加SiteMaps時期後，一樣被Google引得，只然而，顯露出來在補給最後結果中。
當然，從盡管網頁未顯露出來在SiteMaps中但仍能被Google引得也可以看出，Google還是運用FreshBot或大致相似FreshBot的機制，當然這也容易了解，畢竟還是有那末多未運用SiteMaps的網站，Google沒可能將其拒之門外。
相關SiteMaps的周密紹介，請參照Google SiteMaps:Google的後門。需求指出的是，現在Sitemaps協議已變成行業標准，不但對Google管用，其它主流搜索引擎網站涵蓋Yahoo!、Live搜索及Ask均已供給支持。