Robots文件大掃除文盲：怎麼樣用robots增長網站名次

Robots文件是網站和蛛蛛手續之間的君子協議——robots文件不止只可以節約網站的資源，還可以幫忙蛛蛛更加管用的抓取網，因此增長名次。

 

1：只准許谷歌bot

 

假如要中途阻擋除谷歌bot以外的全部爬行動物：

 

User-agent：*

 

disallow：/

 

Uer-agent：准許的蛛蛛名

 

Disallow：

 

2：/folder/和/folder的差別

 

舉個例子：

 

User-agent：*

 

Disallow：/folder/

 

Disallow：/folder

 

Disallow：/folder/表達中途阻擋的是一個目次，該目次文件下的全部文件不准許被抓取，不過准許抓取folder.hlml。

 

Disallow：/folder：對/folder/下的全部文件和folder.html都不可以被抓取。

 

3：*般配恣意字符

 

User-agent：*

 

表達屏蔽全部的蛛蛛。當我們做了偽靜態處置在這以後，會同時又動態網頁和靜態網頁，網頁內部實質意義一模同樣，視為鏡態頁面，所以我們要屏蔽掉動態的網頁，可以用*號來屏蔽動態的網頁

 

User-agent：*

 

Disallow：/?*?/

 

4：$般配網址終了

 

假如要中途阻擋以某個字符串終了的網址，就可以運用$，例如，要中途阻擋以.asp終了的網址：

 

User-agent：*

 

Disallow：/*.asp$

 

也可以敞開比較優秀的網站，看它們的robots文件是怎麼樣書寫的，而後依據自個兒的需要施行相應的改正。Robots文件可以讓蛛蛛把更多的時間花在要抓取的內部實質意義上，所以優化robots文件是很有不可缺少的。

 

本文來自東陽高復：http://mygaofu.com，過載請注明鏈接