Google搜索引擎網站原理
這篇文章中，我們紹介了google，它是一個大型的搜索引擎網站(of a large-scale search engine)的原形，搜索引擎網站在超文本中應用廣泛。Google的預設能夠高效地抓網頁並樹立引得，它的查問最後結果比其他現存系統都高超。這個原形的全文 和超連署的數值庫至少裡面含有24’000’000個網頁。我們可以從)
①Google運用高速的散布式爬動器(Crawler)系統中的隨意游玩遍歷器(Googlebot)定時地遍歷網頁，將遍歷到的網頁送到儲存服務器(Store Server)中。
②儲存服務器運用zlib款式壓縮軟件將這些個網頁施行無缺壓縮處置後存入數值庫Repository中。Repository取得了每個網頁的絕對 Html代碼後，對其壓縮後的網頁及URL施行剖析，記錄下網頁長度、URL、URL長度和網頁內部實質意義，並給予每個網頁一個文檔號(docID)，以便當系 統顯露出來故障的時刻，可以趁早完整地施行網頁的數值還原。
③引得器(Indexer)從Repository中讀取數值，往後做以下四步辦公：
④(a)將讀取的數值解壓縮後行剖析，它將網頁中每個有意義的詞施行計數後，轉化為網站關鍵詞(wordID)的多少引得項(Hits)，生成引得項列表， 該列表涵蓋網站關鍵詞、網站關鍵詞的位置、網站關鍵詞的體積和體積寫狀況等。引得項列表被存入到數值桶(Barrels)中，並生成以文檔號(docID)局部排序的 順排檔引得。
引得項依據其關緊程度分為兩種：當引得項中的網站關鍵詞顯露出來在URL、題目、錨文本(Anchor Text)和標簽中時，表達該引得項比較關緊，稱為特別引得項(Fancy Hits);剩下事情狀況則稱為平常的引得項(Plain Hits)。在系統中每個Hit用兩個字節(byte)儲存結構表達：特別引得項用1位(bit)表達體積寫，用二進制代碼111(佔3位)表達是特別索 引項，剩下12位有4位表達特別引得項的類型(即hit是顯露出來在URL、題目、鏈接結點仍然標簽中)，餘下8位表達hit在網頁中的具體位置;平常的引得項 是用1位表達體積寫，3位表達字體體積，剩下12位表達在網頁中的具體位置。
順排檔引得和Hit的儲存結構如圖3所示。
圖3 順排檔引得和Hit的儲存結構
值當注意的是，當特別引得項來自Anchor Text時，特別引得項用來表達位置的信息(8位)將分為兩局部：4位表達Anchor Text顯露出來的具體位置，另4位則用來與表達Anchor Text所鏈接網頁的docID銜接接，這個docID是由URL Resolver通過轉化存入順排檔引得的。
(b)引得器除開對網頁中有意義的詞施行剖析外，還剖析網頁的全部超文本鏈接，將其Anchor Text、URL指向等關鍵信息存入到Anchor文檔庫中。
(c)引得器生成一個引得詞表(Lexicon)，它涵蓋兩個局部：網站關鍵詞的列表和指針列表，用於倒排檔文檔銜接接(如圖3所示)。
(d)引得器還將剖析過的網頁編排成一個與Repository銜接接的文檔引得(Document Index)，並記錄下網頁的URL和題目，以便可以正確查尋出在Repository中儲存的原網頁內部實質意義。並且把沒有剖析的網頁傳給URL Server，以便在下一次辦公流程中施行引得剖析。
⑤URL剖析器(URL Resolver)讀取Anchor文檔中的信息，而後做⑥中的辦公。
⑥(a)將其錨文本(Anchor Text)所指向的URL改換成網頁的docID;(b)將該docID與原網頁的docID形成鏈接對，存入Link數值庫中;(c)將 Anchor Text指向的網頁的docID與順排檔特別引得項Anchor Hits銜接接。
⑦數值庫Link記錄了網頁的鏈接關系，用來計算網頁的PageRank值。
⑧文檔引得(Document Index)把沒有施行引得剖析的網頁傳交給URL Server，URL Server則向Crawler供給待遍歷的URL，這麼，這些個未被引得的網頁在下一次辦公流程中將被引得剖析。
⑨排序器(Sorter)對數值桶(Barrels)的順排檔引得從新施行排序，生成以網站關鍵詞(wordID)為引得的倒排檔引得。倒排檔引得結構如圖4所示：
圖4 倒排檔引得結構
⑩將生成的倒排檔引得與先前由引得器萌生的引得詞表(Lexicon)銜接接萌生一個新的引得詞表供搜索器(Searcher)運用。搜索器的功能是由網 頁服務器成功實現的，依據新萌生的引得詞表接合上面所說的的文檔引得(Document Index)和Link數值庫計算的網頁PageRank值來般配檢索。
在執行檢索時，Google一般遵循以下步驟(以下所指的是單個檢索詞的事情狀況)：
(1)將檢索詞轉化成相應的wordID;
(2)利用Lexicon，檢索出裡面含有該wordID的網頁的docID;
(3)依據與Lexicon銜接的倒排檔引得，剖析各網頁中的有關引得項的事情狀況，計算各網頁和檢索詞的般配程度，不可缺少時調小曲用順排檔引得;
(4)依據各網頁的般配程度，接合依據Link萌生的相應網頁的PageRank事情狀況，對檢索最後結果施行排序;
(5)調配使用Document Index中的docID及其相應的URL，將排序最後結果生成檢索最後結果的最後列表，提提供檢索用戶。
用戶檢索裡面含有多個檢索詞的事情狀況與以上單個檢索詞的事情狀況大致相似：先做單個檢索詞的檢索，而後依據檢索式中檢索符號的要求施行不可缺少的布爾操作或其它操作。
Google向網站管理員供給的信息
遵循以下指南將有助於 Google 查尋、檢索您的網站並對其施行名次，這是保證在 Google 搜索最後結果中列出您的網址的最佳路徑。縱然您挑選不取納這些個提議，我們也猛烈提議您關系近關心注視 品質指南 ，該指南對可造成網站從 Google 引得中徹底刪去的一點違禁行徑做了簡單扼要解釋明白。一朝網站刪去在這以後，Google.com 或 Google 全部合作火伴網站的搜索最後結果中都不會再顯露該網站。
網站預設與內部實質意義指南：
網站應具備清楚的層級結構日文本鏈接。每個網頁應至少可以經過一個靜態文本鏈接敞開。
為用戶供給一個網站地圖，平列出指向網站關緊位置的鏈接。假如網站地圖上的鏈接超過大約 100 個，則最好將網站地圖拆成多個網頁。
網站應具備實用性且信息浩博，網頁書契應清楚、正確地述說要奉達的內部實質意義。
要思索問題到用戶會運用哪一些網站關鍵詞來查尋您的網頁，保證網站上裡面含有了這些個書契。
盡力運用書契而不是圖像來顯露關緊的名字、內部實質意義或鏈接。由於 Google Crawler 沒有辦法辨別圖像中所裡面含有的書契。
保證 TITLE 和 ALT 標記書契簡單清楚並與網頁內部實質意義有關。
查緝鏈接是否毀壞，HTML 款式是否准確。
假如認為合適而使用動態網頁(即網址中裡面含有?字符)，請注意並非每一個搜索引擎網站 Spider 收錄動態網頁都能像收錄靜態網頁同樣容易。縮減參變量的長度並減損參變量數量將有助於收錄動態網頁。
將每一網頁上的鏈接數目限止在合理的范圍內(少於 100)。
技術指南：
因為大多搜索引擎網站 Spider 檢查網站的形式與文本瀏覽器同樣，所以可運用諸如 Lynx 的文本瀏覽器來查緝您的網站。假如因認為合適而使用了 Javascript、Cookie、Session ID’s、frames (框架)、DHTML 或 Flash 等復雜耍術，而造成在文本瀏覽器中沒有辦法看見網站的全部網頁，則搜索引擎網站 Spider 在收錄您的網站時有可能會碰到麻煩。
准許搜索隨意游玩器 (search bots) 收錄您的網站，同時不認為合適而使用 Session ID 或其他參變量來追蹤它的瀏覽途徑。這些個跟蹤技術對理解個別用戶的行徑很有用，但因為隨意游玩器的過訪標准樣式絕對不一樣，認為合適而使用這些個技術則有可能會造成對網站的檢索不完 整，由於隨意游玩器有可能沒有辦法擯除那一些看中去不一樣但實際卻指向同一個網頁的網址。
保證您的網絡服務器支持 If-Modified-Since HTTP 題目。經過該功能 Google 可以曉得自上次收錄以來您的網站內部實質意義是否有變動，這麼可以節約您的帶寬厚溫和開銷。
運用網絡服務器上的 robots.txt 文件。該文件會奉告 Crawler 可以交來哪一些目次。請保證該文件內部實質意義的更新，免得 Googlebot Crawler 的收錄不測中斷。相關前來訪問隨意游玩器和怎麼樣扼制他們的常見問題目解釋題答，請過訪 。
假如貴企業購買了內部實質意義管理系統，請保證該系統能導出您的內部實質意義，以便搜索引擎網站 Spider 可以收錄您的網站。
當您的網站一切准備妥當時：
一朝您的網站在線後，請將其提交處理給 Google，具體網址為： 。
保證應理解您網頁的全部網站都曉得您的網站已處於在線狀況。
將您的網站提交處理給有關的目次，例如，Open Directory Project 和 Yahoo!。
相關周密信息，請定期查閱 Google 的網站管理員局部。
品質指南 – 基本原則：
網頁應面向用戶，而不是面向搜索引擎網站。對用戶應維持誠實無欺的舉止神情，提交處理給搜索引擎網站的內部實質意義應與顯露給用戶的內部實質意義完全一樣。
請不要為了增長搜索引擎網站名次而弄虛作假。依據我們的經驗，一個比較好的核定辦法是：您是否可以心裡平靜地向競爭對手詮釋您對網站所做的一切。另一個有用的測試辦法則是反躬自問：我這麼做能否幫忙我的用戶?假如不存在搜索引擎網站，我是否還會這麼做?
請不要認為合適而使用旨在增長您的網站名次或 PageRank(網頁評定等級)的鏈接替段。特別要防止鏈接到垃圾/作弊網站或網上惡鄰，由於您自身的名次可遭受這些個鏈接的負面影響。
請不要用未權力委托的計算機手續提交處理網頁、查緝名次等。這些個手續會耗用計算機資源並違背我們的服務條款。Google 不提議運用 WebPosition Gold? 這類產品向 Google 送出半自動或用手續編著的查問。
品質指南 – 具體提議：
請不要運用掩飾文本或掩飾鏈接。
請不要認為合適而使用掩飾真實內部實質意義或哄弄性重定向的手眼。
請不要向 Google 送出半自動查問。
請不要數量多運用與網頁內部實質意義無關的網站關鍵詞。
請不要開創裡面含有數量多重復內部實質意義的多個網頁、子域或域。
請不要認為合適而使用專門針對搜索引擎網站制造的橋頁 (doorway page)，也不要認為合適而使用如聯屬規劃 (affliate programs) 這類原創內部實質意義很少或幾乎沒有原創內部實質意義的餅乾模型 (cookie cutter)形式。
上面所說的品質指南包括了最常見的作弊方式或駕駛行徑，對於此處未列出的其它誤導行徑(例如，經過注冊知名網站的不正確拼音書寫方式來哄弄用戶)，Google 仍可予以不接受。不要抱有僥幸心理，覺得某種哄弄手眼未在本頁中列出，Google 便會許可該手眼。作為網站管理員，與其消耗的錢數量多時間尋覓破綻加以利用，還不如盡其所能保護上面所說的基本神魂，以便為用戶帶來更好的體驗認識，因此使網站取得更高的排 名。
假如您覺得有網站違反了 Google 品質指南，請奉告我們，網址為： 。對於網絡作弊行徑，Google 期望能研發出便於推廣的半自動解決方案，而盡力減損人為的過問。我們將利用收到的作弊行徑報告陳述來開創廣泛適合使用的算法，因此辨別並阻擋未來的作弊行徑。
小站 ： 望大家指正!