很久已同意給啊彬寫一篇文章的，拜謝他對我的一個幫忙，不過一至今也沒有開具來，不久前看見卓少問了一個問題關於robots的問題，給大家收拾了一下子robots的一點事情狀況。robots.txt文件放在網站根目次下，是搜索引擎網站中過訪網站的時刻要檢查的第1個文件。當一個搜索蛛蛛過訪一個站點時，它會頭先查緝該站點根目次下是否存在robots.txt，假如存在，搜索機器人便會依照該文件中的內部實質意義來確認過訪的范圍;假如該文件不存在，全部的搜索蛛蛛將能夠過訪網站上全部沒有被口令盡力照顧的頁面。每個網站都應當有一個robots，它奉告搜索引擎網站我的網站裡有哪一些物品是不准許抓取的，有哪一些頁面是熱烈歡迎爬動與抓取。

　　robots的幾種效用：

　　1.屏蔽全部的搜索引擎網站抓取得信任息，假如你的網站只是你的私密性的網站，沒想到非常多的人曉得的話，可以利用robots屏蔽掉全部的搜索引擎網站,例如你寫的個人博客。你就可以把搜索引擎網站全部屏蔽掉

　　User-agent: *

　　Disallow: /

　　2.假如你只想某一個搜索引擎網站抓取你的信息，這個時刻就可以用robots施行設置,例如：我只想我的網站被百度這個收錄，而沒想到被別的搜索引擎網站收錄seo。就可以利用robots施行設置

　　User-agent: Baiduspider

　　Allow:

　　User-agent: *

　　Disallow: /

　　3.可以利用各種通配符對網站施行相對應的調配，例如我沒想到網站抓取我的全部圖片，這個時刻就可以使用$來施行設置。普通我們常見的圖片的款式是BMP、JPG、GIF、JPEG等款式。這個時刻設置就是：

　　User-agent: *

　　Disallow: /.bmp$

　　Disallow: /.jpg$

　　Disallow: /.gif$

　　Disallow: /.jpeg$

　　4.還可以利用*來屏蔽掉有關的URL，有點網站不准許搜索引擎網站抓取動態地址的時刻可以利用這個*通配符來施行般配設置。普通事情狀況下動態URL的有一個獨特的地方就是有?這個時刻我們就可以利用這個特別的性質來施行般配的屏蔽：

　　User-agent: *

　　Disallow: /*?*

　　5.假如網站改版了，整個兒文件夾都沒有了的時刻，這個事情狀況下就要思索問題屏蔽掉整個兒文件夾。我們可以使用robots來對這整個兒的文件夾施行屏蔽，例如網站裡的ab文件夾因改版全部給刪掉了，這個時刻就可以這麼子設置：

　　User-agent: *

　　Disallow: /ab/

　　6.假如網站裡有一個文件夾沒想到被收錄，不過在這個文件夾裡邊有一個信息是准許被收錄。那可以使用robots的allow施行設置。例如我網站裡ab文件夾不准許搜索引擎網站抓取，不過在ab文件夾裡邊又有一個信息cd是准許被抓取的，這個時刻就可以使用robots施行設置：

　　User-agent: *

　　Disallow: /ab/

　　Allow：/ab/cd

　　7.可以在robots裡定義出網站地圖的位置，有幫助於網站的收錄。

　　sitemap:<網站地圖的位置>

　　8.有的時刻你會發覺我的網站裡設置了robots不過還發覺其收錄了這個URL地址，這個的端由是因此搜索引擎網站的蛛蛛是經過URL爬動到網頁的普通 google抓取這麼子的URL的時刻是不帶title與描寫的，不過百度抓取這個URL會帶上title與描寫，所以有眾多有人會說我設置了 robots不過沒管用果。實際事情狀況是抓取了這個鏈接而沒有收錄這個頁面內部實質意義。

　　網站的首頁權重是無上的，權重是靠鏈接傳交的，我們設置robots是為了更好的把權重傳交給那一些需求有頎長權重的頁面，而有一點頁面則是不必搜索引擎網站抓取和爬動的。