谷歌怎麼樣搜索浩如煙海的信息?

　　導語：美國《串線》雜志網站幾天前刊發編輯史蒂文·列維(Steven Levy)的文章，揭開了谷歌搜索算法的高深莫測的掩蓋真相的東西。

　　以下是文章全文：

　　搜索變更生存

　　想曉得谷歌將怎麼樣變更你的生存嗎?那末周四去瓦加杜古會展室看一看吧。在加利福尼亞山景城的這個會展室裡，幾十名工程師、產品經理和白領聚攏一堂，商議怎麼樣令谷歌的搜索引擎網站更加智能。說話時的這一年，谷歌將對其傳聞中的搜索引擎網站算法施行了大約500項改進，並且每一項改進都要經過這麼的會展表決。

　　每周一次的搜索品質大會，都將有可能影響谷歌搜索的最後結果——三星SF-755p打印機、MySpace布局代碼，甚至於是布基納法索 政治中心，該國政治中心可巧與谷歌此會展室姓名相同。自2006年以來，一直充當谷歌搜索主管的烏迪·曼博(Udi Manber)任會展的負責人。會展將一一提出可實行的改進，同時還會商議數月來在不一樣國度、不一樣語言背景中的測試最後結果。熒幕上分兩列顯露，更改前後同一查問回返的最後結果。在商議六弦琴 人的聲音摹擬的查問最後結果時，曼博叫道：這個我搜過。

　　你有可能會想，谷歌已經主導搜索引擎網站市場長達十年之久，應當可以安枕無懮了。畢竟谷歌在搜索引擎網站市場上的份額高達65百分之百，甚至於谷歌一詞已經變成搜索的代表名稱的詞。就像谷歌不願在桂冠前面停步同樣，其競爭對手也不願隨便承認失敗。積年來，谷歌一直在用其高深莫測的、看起來無所不知的算法來團體世界信息。但近來五年來，眾多企業著手對谷歌的一關緊觀點發起挑戰。

　　谷歌覺得，一個純一的搜索引擎網站，經過科技改革和不斷改進，可以滿意不論什麼搜索取求。而Facebook較早對此發起了挑戰，覺得一點人更願意經過朋友取得信息，而不是一個沒有姓名的算法公式。Twitter能對不斷更新的消息兒施行不時剖析，這就使實時搜索變成事實——開鑿正在施行的商議或閑磕牙。

　　購物比較網站Yelp經過大眾對商家的等級核定，幫忙許多人尋覓飯館、乾洗店和保母等有關信息。固然這些個後起之秀沒有辦法單獨對谷歌導致要挾，但他們並肩顯示著搜索行業的一種開放、混沌的未來——並不是被一個搜索引擎網站所主導，而是裡面含有著浩博多樣的服務。

　　來自必應的挑戰

　　不過，谷歌最大的要挾是微軟的必應(Bing)。必應使人聯想到考求、美國傳奇歌手Bing Crosby、和《黑道親族》中的Bada Bing夜店，這款從新修整、被給予新品牌的搜索引擎網站在今年前一年六月推出時便博得了樂觀的名聲。《華爾街早上出版的報紙》稱其比谷歌更有吸萬有引力。新的狀態和1億美圓的廣告戰使微軟在美國搜索市場中的份額從8百分之百躍昇至11百分之百——假如監視管理部門准許必應變成雅虎的搜索服務商，這一份額將增加一倍以上。

　　必應團隊一直專注於谷歌算法沒有辦法滿意的需要。譬如，谷歌特長搜索公共網絡，但卻沒有辦法實時跟蹤不斷變動的航班時候表和機票價錢。因為這個微軟從各處買進了Farecast網站，該網站追蹤機票價錢的變動，並據以預先推測票價的漲跌。到現在為止，微軟已把Farecast的技術應用參加到必應的搜索最後結果當中。微軟在其覺得谷歌算法沒有優勢的領域，例如康健、購物領域，也施行了大致相似的從各處買進。

　　縱然必應團隊承認，在依據搜索詞回返有用信息方面，谷歌還遙遙領先。但它們仍覺得，假如必應可以供給一點特長的領域，用戶會漸漸習性運用必應來施行特別指定的搜索。微軟中心搜索部門副總裁布萊恩·麥克唐納(Brian MacDonald)表達：算法對於搜索引擎網站來說至關關緊，但它並不是一切，就像你買車並非只由於它的引擎。

　　谷歌仍是最智能的搜索引擎網站

　　一個有趣兒的例子mike siwek lawyer mi表清楚谷歌相對於必應的優勢。

　　阿米特·辛格(Amit Singhal)是谷歌的首席工程師，40多歲，性情柔和，他曾因在2001年重寫了谷歌搜索引擎網站而取得殊榮。他將這些個單詞輸入谷歌搜索框，並敲打了回車鍵。在極短的時間內，搜索最後結果便顯露出來。最上頭的鏈接指向的網頁給出了密歇根州大急流城一位名叫Michael Siwek的律師。

　　這是一個很平常的的搜索，谷歌每日要處置成千累萬的這種搜索。但事情的真實情況上這一搜索過程非常復雜，有可能使一點搜索引擎網站曲解。假如把這些個單詞輸入到必應，第1個最後結果是美國國度油橄欖球聯盟的歷年球員單子，那裡面有一個名叫Lawyer Milloy。搜索最後結果中的下邊幾頁，也沒有與律師Siwek有關的內部實質意義。

　　這一相比較顯露出谷歌算法的堅強雄厚，甚至於可謂是智能，而這是經過反反復復的修正成功實現的。看起來谷歌領有解讀用戶需要的非常奇妙力氣——無論是多麼不常見的的搜索，或是有拼音書寫不正確。谷歌將這種有經驗稱為搜索品質，況且積seo年來一直悉力完備算法，以萌生非常准確的搜索最後結果。

　　如今我就與辛格一塊兒坐在谷歌的43號工作大樓裡，由於谷歌給予了我一個前所未有的機緣——讓我理解它們是怎麼樣保障搜索品質的。身後的意涵很明確：你有可能覺得算法只是一個引擎，但在揭開其高深莫測的掩蓋真相的東西在這以後你纔會發覺它是多麼的無所不可以。

　　創新的著手：PageRank

　　谷歌算法始於PageRank，這是1997年拉裡·佩奇(Larry Page)在斯坦福大學讀研討生時研發的。佩奇的創新性想法是：基於入鏈接的數目和關緊性對網頁施行評定等級，也就是經過網絡的集體智慧確認哪一些網站最有用。隨著谷歌迅疾度完成為互聯網上最成功的搜索引擎網站，佩奇和谷歌的另一名初創人塞吉·布林(Sergey Brin)將PageRank這一簡單概念當做谷歌的最根本創新。

　　但這並不是故事的所有。曼博表達：許多人信任PageRank是由於它是可以施行明確承認的，但要供給最有用的最後結果還需求其它技術。這牽涉到對某些信號、上下文的利用，這麼對於不論什麼查問，搜索引擎網站都能將最有用的最後結果排在最面前。

　　網絡搜索是一個多方過程。首先，谷歌機器人取得每個可過訪網站的內部實質意義。這些個數值將被分解成一個引得(經過書契施行團體，就像書本兒的目次)，這麼就可以依據內部實質意義找到不論什麼頁面。每當用戶鍵入一個查問，谷歌便會在引得中到處尋找有關頁面，而後回返一個裡面含有多達數一百萬頁面的列表。最復雜的是對列表施行排序，也就是表決哪一些頁面應當顯露出來在最上頭。

　　此時，上下文便有了用武之地。全部搜索引擎網站都會引入上下文，但沒有一個像谷歌那樣子引入得那樣子多、應用那樣子自若。PageRank本身也是一個信號，同時也是頁面的一個屬性(指其相對於其它網頁的關緊性)，該屬性可以幫忙確認其與查問內部實質意義的有關性，那裡面的一點信號在如今看來是顯而易見的。

　　一直以來，谷歌算法都對頁面的題目給予尤其的關心注視，因為這個題目變成確認有關性的關緊信號。另一個關緊技術是錨文本，指的是超鏈接中的可見文本。因為這個，當你施行搜索時，搜索引擎網站總能給出准確的頁面，縱然該頁面中沒有你找的網站關鍵詞。這是谷歌早期架構師斯科特·哈桑(Scott Hassa)的觀點，他曾與佩奇和布林一塊兒在斯坦福辦公。在這以後，搜索引擎網站關心注視的信號還涵蓋新奇度(對於一點查問，新近的頁面比較早的頁面更有價值)和地理位置(谷歌曉得搜索者的大概天文坐標，會將本地信息排在面前)等。谷歌到現在為止運用200多種信號來幫忙確認搜索最後結果的排序。

　　谷歌工程師發覺，一點最關緊的信號有可能來自谷歌本身。PageRank將受熱烈歡迎程度植入了搜索引擎網站：成千累萬的網站人民有參與國事的權利地表決將鏈接指向哪一些網站。但辛格表達，谷歌工程師還利用了另一種人民有參與國事的權利——成千累萬運用谷歌搜索的用戶。用戶在搜索過程中萌生的數值被證實一樣很有價值，這些個數值涵蓋它們點擊哪一些最後結果、不滿時對網站關鍵詞的更改、查問網站關鍵詞與所處地理位置的關系等。這一過程的最直接例子就是谷歌所謂個性化搜索——這是一個可選功能，利用用戶的搜索歷史和地理位置來確認他想要找的內部實質意義(運用這項功能需求先登錄谷歌賬號)。更一般的辦法是，谷歌利用其使聚在一起的數量多數值支持其算法，谷歌對此有極深的了解，可以解讀隱秘查問的復雜意向。

　　熱狗與煮狗

　　以谷歌確認近義詞的辦法為例。辛格表達：我們很久已有了一個有趣兒的發覺，那就是用戶會更改查問的網站關鍵詞。譬如有人會搜索‘dog’，而後改成‘puppy’，因為這個搜索引擎網站便會獲悉‘dog’和‘puppy’有可能是可以互相交換的。引擎也會曉得，當你燒(boil)水時，水會變熱(hot)。我們從人的總稱的語義中學習，這是一個非常大的進步提高。

　　但這也有絆腳石。谷歌的近義詞系統曉得dog和puppy大致相似，沸(boiling)水是熱的(hot)。但它同特殊情況覺得hot dog(香腸夾心面粉和水發酵制成的食品)和boiling puppy(煮狗)是同樣的。經過路德維希·維特根斯坦(Ludwig Wittgenstein)的理論，該問題於2002年得以解決。該理論牽涉到上下文怎麼樣表決詞和詞組的意思。當谷歌抓取共存儲數以億計的文件和網頁時，它會剖析哪一些詞是你我鄰近的。裡面含有hot dog的頁面一般也裡面含有面粉和水發酵制成的食品、芥末、和棒球，而不會涵蓋對雜種狗的捕殺內部實質意義。這就幫忙了搜索引擎網站了解hot dog和其它成千累萬個詞和詞組的意思。辛格說：如今，搜索引擎網站會曉得bio在‘Gandhi bio’中是‘biography’(傳記)的減寫，而在‘bio warfare’中是‘biological’(有生命的物質)的減寫。

　　在谷歌的進展過程中，該企業不斷想辦法增加新的排序信號，況且兼顧不會影響用戶的中心體驗認識。每幾年便會對系統做一次重大改正(有些像Windows的新版本)，這在山景城是人盡皆知的，但別人不會關心注視。

　　辛格說：我們的擔任的工作是對這架以每鍾頭1000千米在三萬英尺高空飛行的飛機的系統施行根秉性更改。2001年，為了對付互聯網的飛速進展，辛格事情的真實情況上絕對改寫了佩奇和布林的算法，以便使谷歌可以迅速增加新的信號(新信號之一可以區別經濟活動頁面和非經濟活動頁面，因此為購物者供給更好的最後結果)，也是在這一年，一位名叫克利什納·伯哈拉特(Krishna Bharat)的工程師覺得權威網站上的鏈應援該具備更大的權值，因為這個預設了一個堅強雄厚的信號以便給予這些個鏈接更大的可信度(這是谷歌的第1個專利)，最新的一項改正的代號為咖啡鹼，對整個兒系統施行了改正，因此要得工程師可以更容易地增加新的信號。

　　谷歌辨別語義的過程

　　谷歌以特長激勵這些個創新而著名，每年企業都會舉行發瘋搜索創議內裡展覽活動，以便激勵那一些不平常但有應用潛在力量的創新。但大部分數時刻，改進的過程是飽含艱苦的，需求發誓立志不渝的神魂，需求面臨試驗過程中的打壓。有一個不了功的搜索已經變成傳奇：2001年，辛格獲悉輸入audrey fino時沒有辦法搜到預先期待內部實質意義，而只是回返一點贊賞奥黛麗·赫本(Audrey Hepburn)的印度網頁，由於在印度語中fino是好的意思。辛格說：我們曉得audrey fino是私人名，但我們的系統沒這樣伶俐。

　　這一敗績使辛格花了積年時間，打算改進谷歌對名字的搜索最後結果——由於名字佔總搜索量高達8百分之百。為理解決這一問題，他只得掌握bi-gram拆分，也就是將多個詞瓜分成獨立的單元。譬如，new york拼湊組成一個bi-gram，指的是紐約。但也有三個字的事情狀況，譬如new york times，意思是紐約時報，很表面化二者指的不是同同樣物品。假如用戶輸入的是new york times square，意思又成為了紐約時期廣場。人的總稱可以很容易做出區別，而谷歌不是由人工扼制的，它有賴的是算法。

　　Mike Siwek這一搜索可以詮釋谷歌是怎麼樣解決這一問題的。辛格輸入顯露代碼的指示後，我們就可以看見信號是怎麼樣表決搜索最後結果排序的：經過bi-gram可以確認mike siwek是獨自一個人名，lawyer是一個近義詞，mi是一個地名。辛格說：從工程師的角度施行解構，系統會對這些個詞施行瓜分，它會發覺lawyer不是申屠，siwek不是半中腰名。同時lawyer也不是密歇根的一個鎮，因為這個它是attorney的近義詞。

　　這是谷歌從千百次搜索中取得的可貴知識。石塊可以是rock，可以是stone，還可以是boulder(漂石)。假如用戶輸入rokc，谷歌仍會曉得他想找的是rock。但假如在rokc前加little，谷歌則會曉得這是Arkansas(阿肯色州)的首府。Arkansas的減寫是ark，與諾亞方舟同形，但谷歌會將二者區別開來。辛格說：搜索中最關緊的是了解用戶的意向，因為這個你不是在般配詞和詞組，而是在般配意思。

　　谷歌一直在不斷改進。近期，谷歌工程師莫琳·海曼斯(Maureen Heymans)發覺了Cindy Louise Greenslade的搜索最後結果的問題。用戶輸入這些個單詞時，算法會覺得應當找一個名叫Cindy Louise的人，於是在加利福尼亞的加登格羅夫市找到達一名心理學家，卻沒有把名字為Cindy Louise Greenslade的人的網頁放在最後結果的前十名。海曼斯發覺，這是由於Cindy Louise Greenslade習性將姓名減寫成Cindy L. Greenslade。她表達：我們的搜索引擎網站應當更伶俐一點兒。於是她增加了一個信號，用來尋覓半中腰名的減寫。如今准確的最後結果已經被排在了第五位。

　　接連不斷的創新

　　在不論什麼時刻，谷歌高效運轉的測試系統都會施行幾十個這種改進。谷歌在全球專門僱傭了上百人，這些個人坐在家裡的電腦前判斷更改後的最後結果是更好仍然更差。但谷歌還有一個更大的測試團隊，這就是成千累萬的谷歌用戶，它們沒察覺地參加了這項長時期的品質實驗。

　　每當工程師想測試一項技術調試時，它們會在一部分隨機用戶中運行這些個算法，而絕大部分數的用戶飾演的是參考組的角色。需求測試的更改非常多，因為這個谷歌讓步了一次只測試一項技術調試的策略。搜索品質工程師帕特裡克·賴利(Patrick Riley)表達：在大部分數搜索過程中，你同時都處於多個‘實驗組’和‘參考組’當中。但他隨即又做出了更正：事情的真實情況上，全部搜索都被卷入了實驗當中，因為這個用戶每每用谷歌搜索，都作了一次‘小白鼠’。

　　這種靈活性——增加信號、更改代碼、迅即測試的有經驗——就是谷歌團隊為何說它們可以對付來自必應、Twitter和Facebook的不論什麼挑戰的端由。事情的真實情況上，在以往的六個月中，谷歌施行了200多項改進，那裡面一點仿佛好象在臨摹(但逾越了)它的競爭對手(谷歌表達這只是湊巧相合，稱其積年來一直在增加新功能)，那裡面之一就是實時搜索。

　　佩單數月前曾表達谷歌應當每一秒鍾都搜索整個兒網絡，因為這個使這一功能備受期望。當用戶搜索具備時候間性的話題時，谷歌最後結果頁面的10個藍色鏈接中會有一個最新最後結果框。該框帶有拖動條，顯露的是重新聞電視臺、博客和Twitter等取得最新內部實質意義。一樣，谷歌運用信號來保證最有用的tweet(Twitter上宣布的消息兒)顯露出來在實時信息框中。

　　除開實時搜索，谷歌還引入了一項新功能，稱作Goggles。該功能可以將用戶手機上照相的照片兒視作搜索煩請。谷歌一直盡力盡量將搜索成為一種任何時間順地的行徑，Goggles也是該盡力盡量的一小批。有了攝像和語音辨別功能，智強手機便會成為你的眼晴朗聽覺。只要找到准確的信號，不論什麼物品都可以成為搜索煩請。

　　成功的溯源：僱傭合宜的人材

　　谷歌的堅強雄厚計算有經驗和帶寬為企業供給了無可爭論的優勢。有人的聲音稱這種優勢使創業企業沒有辦法對其發起挑戰。但曼博表達，谷歌變成上層者並非僅只由於其基礎設備。他說：最、最、最關緊的因素是我們僱傭了合宜的人材。

　　依照全部的標准，陸奇都是算做上一名合宜的人材，他是一位48歲的電腦科學家。以前與陸奇在雅虎共事的曼博表達：我對他懷有無上的敬意。但陸奇今年前一年初離去了谷歌，前去微軟充當必應團隊負責人。在被問到他的重大責任時，衣著打扮牛仔和必應T恤、高矮胖瘦個兒小的陸奇字斟句酌地輕聲答道：我們需求始末記取這是一個永久的旅程，這一點兒非常關緊。他的眼神兒中洋溢出我不會離去的神色，就像電影《殺害比爾》中的烏瑪·瑟曼(Uma Thurman)同樣。

　　在以往十年中博得了瀏覽器戰爭的微軟，在搜索方面仿佛好象懷有君子復仇，十年不晚的想法，由於它確信譽戶除開谷歌算法還需求別的物品。微軟搜索進展主管哈利·沙姆(Harry Shum)表達：假如我們錯誤算法施行更改，將很難與如今的贏家對抗，但我們計劃對算法施行改進。

　　不過，縱然必對付算法施行改進，谷歌很有可能做出一樣的更改。這就是谷歌變成這麼一個令人的生活畏的對手的端由，它已經研發出了一個足夠快捷的機器，致使可以借鑒不論什麼有可能對其導致要挾的創新——同時供給著對手沒有辦法倫比的高品質搜索最後結果。不論什麼人都可以創造一種買機票的新辦法，但只有谷歌曉得怎麼樣找到Mike Siwek。(欽亮)

　　谷歌算法是一項施行中的辦公——不斷的調試和改進是為了供給更高品質的搜索最後結果。以下是PageRan推出在這以後的一點主要增加項和更改。——史蒂芬·列維