一、意識robots文件

　　我們曉得，robots.txt文件奉告蛛蛛手續在服務器上啥子文件是可以被檢查的，啥子是不行被檢查的，蛛蛛曉得了這些個往後，就可以將全部的精神力放在被我們准許過訪的頁面上頭，因此將有限的權重集中起來。

　　同時，我們還不可以互略最關緊的一點兒就是，robots.txt是搜索引擎網站過訪網站要檢查的第1個文件。清楚了這一點兒，我們就有不可缺少，也有可能針對這一條做一點文章。

　　二、將sitemap.xml寫入robots文件

　　面前提到達，robots.txt文件是搜索引擎網站中過訪網站要檢查的第1個文件，那末，假如我們將sitemap.xml(網站地圖)文件地址寫入robots.txt文件裡邊，自不過然會被搜索引擎網站蛛蛛在第1時間發覺，也增大了網站頁面被迅速抓取和收錄的有可能性。此種作法，對於新站效用表面化，對於大站更具備積極和事實的效用。

　　具體寫法舉出例子如下所述：

　　

　　所以，不管是新站仍然老站，為了要得更多的頁面被搜索引擎網站抓取，有不可缺少將sitemap.xml寫入robots.txt文件中。

　　三、Sitemap.xml文件的取得

　　面前講了那末多，有可能眾多人還不是很清楚，sitemap.xml文件到底怎麼樣攻取呢?

　　給大家供給一個工具，也是谷歌官方引薦的sitemap.xml在線生成工具，/，大家可以依據裡邊的選項挑選適應自個兒網站的sitemap.xml生成式樣。生成sitemap.xml後，普通需求將該文件安放在根目次下邊即可。

　　

　　綜上，把sitemap.xml地址寫入robots.txt文件，因此提高頁面抓取率的形式是行得通的，也是具備可操作性的。期望可以與更多的朋友就網站推廣和優化施行研究討論。本文原創臺州人材網http://tz.qianjiangrc.com。熱烈歡迎過載，請保存來源。