為何我們要逆著常規來這麼做？

　　假如你是一個站長，估計你總在千方百計的讓你的網站能在搜索引擎網站裡邊找到，況且能夠在搜索引擎網站裡邊名次靠前，但有時候，你有可能並沒登陸過不論什麼搜索引擎網站，可卻莫名其妙的發覺可以經過它搜索到你的網站。也許有的主頁內部實質意義你樂於一般的人皆知，但有的內部實質意義你卻不願被洞悉、引得。有可能你要求用戶證驗，但這並不可以躲避搜索引擎網站的搜索，只要在搜索引擎網站裡邊搜索到你的這個網頁，無須password照樣可以登陸。況且簡單的加密每常容易被攻破。難不成運用數值庫嗎？這不惟耗費珍貴網站空間資源，對於一點簡單的站點，又沒有辦法成功實現。怎麼辦呢？搜索引擎網站不是個瞞不講理，辦不講理的入室小偷。怎麼樣把搜索引擎網站拒之門外呢？

　　考求一下子搜索引擎網站的的原理

　　首先，我們要曉得搜索引擎網站的辦公原理。網絡搜索引擎網站主要由網絡機器人(Robot，這個是全文的關鍵)、引得數值庫和查問服務三個局部組成。只要被網頁機器人找到的網頁，便會在搜索引擎網站的數值庫中樹立引得。利用查問客戶端，就一定可以找到你的網頁。所以下邊的關鍵是研討這個網絡機器人。引得數值庫和查問服務的原理我們就不詳剖析了。

　　Web Robot實際上是種手續，它可以偵測數量多Internet網址的超文本結構和網頁裡的URL連署，遞歸地檢索網絡站點全部的內部實質意義。這些個手續有時候被叫『蛛蛛(Spider)』，『網上流浪漢(Web Wanderer)』，『網絡蠕蟲(web worms)』或Web crawler。大型的搜索引擎網站站點(Search Engines)有專門的Web Robot手續來完成這些個信息的搜集。高性能的Web Root去半自動地在互聯網中搜索信息。一個典型的網絡機器人的辦公形式，是檢查一個頁面，並從其中找到有關的關鍵字和網頁信息，例如：題目，網頁在瀏覽器上的Title,還有一點常常被用來搜索的辭匯，等等。而後它再從該頁面的全部鏈接中動身，接著尋覓有關的信息，以資類推seo，直到盡頭。網絡機器人為成功實現其迅速地瀏覽整個兒互聯網，一般在技術上認為合適而使用搶先兒式多線程技術成功實現在網上聚攏信息。經過搶先兒式多線程的運用，它能引得一個基於URL鏈接的Web頁面，開始工作一個新的線程尾隨每個新的URL鏈接，引得一個新的URL起點。把搜索到的信息樹立引得，就可以讓用戶搜索了。呵呵，有可能你會想到，這麼下去，不是個無限循環呀？當然，機器人也需求歇息的，網絡機器人是定期散發，完成一個辦公時段就終了。所以，剛制造完成的網頁，不會立刻被收益搜索引擎網站引得裡。說到這處，網絡搜索引擎網站的基本辦公原理基本上讓大家理解了。指揮這個網絡機器人，不讓它見門就進，見路就闖，就是接下來的辦公了。

　　躲避搜索引擎網站的法眼

　　作為搜索引擎網站的研發者，一樣留給了網絡管理員或網頁制造者供給了些辦法來限止網絡機器人的舉動：

　　當robots過訪一個網站(譬如/google)時，首先會像一個大宅第的生疏過訪者同樣，先檢查檢查該宅第是否答應它進入了。假如不一樣意，它就悄然無聲的走掉；假如答應，它會看看主子只准許它進入了那一些屋子。網絡機器人首先查緝該網站中是否存在/google/robots.txt這個文件，假如找不到這個文件，那末，機器人便會橫沖直入，查遍它需求查尋的信息。假如機器人找到這個文件，它便會依據這個文件的內部實質意義，來確認它過訪職權范圍的范圍。當然，假如該文件的內部實質意義為空的話，那末也就相當於沒有找到文件同樣，膽量大做事。記取robots.txt文件應當放在網站根目次下。

　　robots.txt文件中的記錄一般以一行或多行User-agent著手，後面加上多少Disallow行,周密事情狀況如下所述：

　　User-agent:

　　該值用於描寫搜索引擎網站robot的姓名，不一樣的搜索引擎網站是有不一樣的姓名的，在”robots.txt”文件中，假如有多條User-agent記錄解釋明白有多個robot會遭受該協議的限止，對這個文件來說，假如你需求限止robots，那末至少要有一條User-agent記錄。假如該項的值設為*，則該協議對不論什麼機器人均管用，在”robots.txt”文件中，” User-agent: * “這麼的記錄只能有一條。

　　Disallow :

　　該值用於限止robot過訪到的一個URL，這個URL可以是一條完整的途徑，也可以是局部的，不論什麼以Disallow 開頭的URL均不會被robot過訪到。例如『Disallow: /hacker』對/hacker.html 和/hacker/index.html都不准許搜索引擎網站過訪，而『Disallow: /hacker/』則robot照樣可以過訪/hacker.html，而不可以過訪/hacker/index.html。不論什麼一條Disallow記錄為空，也就是說在多條Disallow記錄下，只要有一條是寫成『Disallow:』解釋明白該網站的全部內部實質意義都准許被過訪，在”/robots.txt”文件中，至少要有一條Disallow記錄。

　　下邊是Robot.txt的一點例子，只要把下面所開列的不論什麼一個代碼保留為robots.txt，而後傳到指定位置，就可以成功實現躲避搜索引擎網站的法眼：

　　例1. 嚴禁全部搜索引擎網站過訪網站的不論什麼局部：

　　User-agent: *
　　Disallow: /

　　例2. 准許全部的robot過訪：

　　User-agent: *
　　Disallow:

　　例3. 嚴禁某個搜索引擎網站的過訪：

　　User-agent: BadBot
　　Disallow: /

　　例4. 准許某個搜索引擎網站的過訪：

　　User-agent: baiduspider
　　Disallow:
　　User-agent: *
　　Disallow: /

　　例5. 一個簡單例子：

　　在這個例子中，該網站有三個目次對搜索引擎網站的過訪做了限止，即搜索引擎網站不會過訪這三個目次。需求注意的是對每一個目次務必分開聲明，而不要寫成 “Disallow: /cgi-bin/ /bbs/”。User-agent:後的* 具備特別的涵義，代表”any robot”，所以在該文件中來不得”Disallow: /bbs/*” or “Disallow: *.gif”這麼的記錄顯露出來.

　　User-agent: *
　　Disallow: /cgi-bin/
　　Disallow: /bbs/
　　Disallow: /~private/

　　總結語：是不是這麼設置後，搜索引擎網站立刻就找不到我們所限止的網頁呢？不似的，就像文章著手前說過，網絡機器人是定期散發，一朝在引得數值庫裡邊做了記錄，就要等下次更新數值庫時纔可能發生效力。一個敏捷的方法，就是立刻到搜索引擎網站上去注銷你的網頁，可這個也是需有待幾天的。假如對非常關緊的網頁，只要改易個目次或文件名就可以了。

　　對於你已經期望保密的網頁來說，務必不要在其它未保密的網頁裡有URL連署到這些個網頁上，在網絡機器人辦公原理那已經說過，它可以從該頁面的全部鏈接中動身，接著尋覓有關的信息。

　　有可能到達這，你已經對你的保密網頁覺得安全了。可是，你想到沒有，對於純文本文件，是可以經過HTTP，或FTP下載的。也就是說，有存心有意不好的人，可以經過這個robots.txt找到一點線索。解決的方法是，最好運用Disallow時，用來限止目次，況且對這個目次下需求保密的網頁，運用特別的文件名，不要運用index.html什麼的的姓名，不然，這跟猜弱口令同樣容易。起些形如d3gey32.html的文件名，你的網頁就安全多了。

　　最終不心情安定的話就再給保密網頁上上一到password證驗的擔保，讓你安枕無懮。