意識了眾多站長，大部分數會運用robots.txt文件，只有40百分之百左右的站長不曉得robots.txt文件的關緊性。當然了，假如你的網站絕對沒有讓搜索引擎網站嚴禁的內部實質意義，可以無須robots.txt文件。

　　到盡頭robots.txt是何許人也?

　　robots.txt是一個純文本文件，它就像網站地圖同樣，給搜索引擎網站指明道路。。當搜索引擎網站蛛蛛爬取網站的時刻，普通會的確你網站的目次下是否有robots.txt這個文件。假如有的話，會依照文件的內部實質意義來爬取該爬的網站內部實質意義。假如沒有這個文件，蛛蛛便會跟著鏈接直接爬取。

　　下邊大家看看淘寶的robots.txt文件：

　　

　　可以看見，淘寶再一次屏弊了百度蛛蛛的爬取辦公，我們再來看看下邊這個收錄圖：

　　

　　只見二級域名或三級往後的頁面了。

　　robots.txt到底有啥子益處呢?

　　1、可以嚴禁對私密文件的爬取辦公。譬如說你的網站後臺、數值庫，管理手續。假如沒有配備布置好robots.txt文件，搜索引擎網站很可能會引得那一些所說的的臨應試文章件。

　　2、便捷搜索引擎網站爬取辦公。譬如說你的網站非常大，我看見過一個網站，整個兒網站有50多G，敞開比騰訊還要慢。假如不相配備布置好robots.txt文件，蛛蛛爬取辦公便會很費勁，額外，非常多的蛛蛛過訪，甚至於會影響你網站的正常過訪。

　　3、減損帶寬。robots.txt可以制止不不可缺少爬取辦公，假如你的是圖片站或美貌女子站的話，沒設置好robots.txt文件，便會耗費數量多的帶寬了。]

　　4、保障網站名次不受影響。這時主要說說網站內部實質意義重復性問題，有可能這個問題半大，但一朝存在有重復內部實質意義，便會遭受搜索引擎網站辦罪了，尤其是百度。所以配備布置好robots.txt很關緊!

　　一塊兒創業網 過載請保存信息!