Robots文件大掃除文盲:怎麼樣用robots增長網站名次
Robots文件是網站和蛛蛛手續之間的君子協議——robots文件不止只可以節約網站的資源,還可以幫忙蛛蛛更加管用的抓取網,因此增長名次。
1:只准許谷歌bot
假如要中途阻擋除谷歌bot以外的全部爬行動物:
User-agent:*
disallow:/
Uer-agent:准許的蛛蛛名
Disallow:
2:/folder/和/folder的差別
舉個例子:
User-agent:*
Disallow:/folder/
Disallow:/folder
Disallow:/folder/表達中途阻擋的是一個目次,該目次文件下的全部文件不准許被抓取,不過准許抓取folder.hlml。
Disallow:/folder:對/folder/下的全部文件和folder.html都不可以被抓取。
3:*般配恣意字符
User-agent:*
表達屏蔽全部的蛛蛛。當我們做了偽靜態處置在這以後,會同時又動態網頁和靜態網頁,網頁內部實質意義一模同樣,視為鏡態頁面,所以我們要屏蔽掉動態的網頁,可以用*號來屏蔽動態的網頁
User-agent:*
Disallow:/?*?/
4:$般配網址終了
假如要中途阻擋以某個字符串終了的網址,就可以運用$,例如,要中途阻擋以.asp終了的網址:
User-agent:*
Disallow:/*.asp$
也可以敞開比較優秀的網站,看它們的robots文件是怎麼樣書寫的,而後依據自個兒的需要施行相應的改正。Robots文件可以讓蛛蛛把更多的時間花在要抓取的內部實質意義上,所以優化robots文件是很有不可缺少的。
本文來自東陽高復:http://mygaofu.com,過載請注明鏈接