對於網站管理者和內部實質意義供給者來說，有時會有一點站點內部實質意義，不期望被ROBOTS抓取而公開。為理解決這個問題，ROBOTS研發界供給了兩個方法：一個是robots.txt，另一個是TheRobotsMETA標簽。
一、robots.txt
1、啥子是robots.txt？
robots.txt是一個純文本文件，經過在這個文件中聲明該網站中沒想到被robots過訪的局部，這麼，該網站的局部或所有內部實質意義就可以不被搜索引擎網站收錄了，還是seo指定搜索引擎網站只收錄指定的內部實質意義。
當一個搜索機器人過訪一個站點時，它會頭先查緝該站點根目次下是否存在robots.txt，假如找到，搜索機器人便會依照該文件中的內部實質意義來確認過訪的范圍，假如該文件不存在，那末搜索機器人就沿著鏈接抓取。
robots.txt務必安放在一個站點的根目次下，並且文件名務必所有小寫。
網站URL
相應的robots.txt的URL
和/help/index.html都不准許搜索引擎網站過訪，而”Disallow:/help/”則准許robot過訪/help.html，而不可以過訪/help/index.html。
不論什麼一條Disallow記錄為空，解釋明白該網站的全部局部都准許被過訪，在”/robots.txt”文件中，至少要有一條Disallow記錄。假如”/robots.txt”是一個具文件，則對於全部的搜索引擎網站robot，該網站都是開放的。
下邊是一點robots.txt基本的用處：
l嚴禁全部搜索引擎網站過訪網站的不論什麼局部：
User-agent:*
Disallow:/
l准許全部的robot過訪
User-agent:*
Disallow:
還是也可以建一個具文件”/robots.txt”file
l嚴禁全部搜索引擎網站過訪網站的幾個局部（下例中的cgi-bin、tmp、private目次）
User-agent:*
Disallow:/cgi-bin/
Disallow:/tmp/
Disallow:/private/
l嚴禁某個搜索引擎網站的過訪（下例中的BadBot）
User-agent:BadBot
Disallow:/
l只准許某個搜索引擎網站的過訪（下例中的WebCrawler）
User-agent:WebCrawler
Disallow:
User-agent:*
Disallow:/
3、常見搜索引擎網站機器人Robots姓名
名字搜索引擎網站
Baiduspider
Disallow:/webmaster_logs
Disallow:/newscenter
Disallow:/virtual
Disallow:/DIGEST
Disallow:/QUICKNEWS
Disallow:/SEARCH
User-agent:Mozilla/3.01(hotwired-test/0.1)
Disallow:/cgi-bin
Disallow:/TRANSCRIPTS
Disallow:/development
Disallow:/third
Disallow:/beta
Disallow:/java
Disallow:/shockwave
Disallow:/JOBS
Disallow:/pr
Disallow:/Interactive
Disallow:/alt_index.html
Disallow:/webmaster_logs
Disallow:/newscenter
Disallow:/virtual
Disallow:/DIGEST
Disallow:/QUICKNEWS
Disallow:/SEARCH
User-agent:Slurp
Disallow:/cgi-bin
Disallow:/TRANSCRIPTS
Disallow:/development
Disallow:/third
Disallow:/beta
Disallow:/java
Disallow:/shockwave
Disallow:/JOBS
Disallow:/pr
Disallow:/Interactive
Disallow:/alt_index.html
Disallow:/webmaster_logs
Disallow:/newscenter
Disallow:/virtual
Disallow:/DIGEST
Disallow:/QUICKNEWS
Disallow:/SEARCH
User-agent:Scooter
Disallow:/cgi-bin
Disallow:/TRANSCRIPTS
Disallow:/development
Disallow:/third
Disallow:/beta
Disallow:/java
Disallow:/shockwave
Disallow:/JOBS
Disallow:/pr
Disallow:/Interactive
Disallow:/alt_index.html
Disallow:/webmaster_logs
Disallow:/newscenter
Disallow:/virtual
Disallow:/DIGEST
Disallow:/QUICKNEWS
Disallow:/SEARCH
User-agent:Ultraseek
Disallow:/cgi-bin
#Disallow:/TRANSCRIPTS
Disallow:/development
Disallow:/third
Disallow:/beta
Disallow:/java
Disallow:/shockwave
Disallow:/JOBS
Disallow:/pr
Disallow:/Interactive
Disallow:/alt_index.html
Disallow:/webmaster_logs
Disallow:/newscenter
Disallow:/virtual
Disallow:/DIGEST
Disallow:/QUICKNEWS
Disallow:/SEARCH
User-agent:smallbear
Disallow:/cgi-bin
Disallow:/java
Disallow:/images
Disallow:/development
Disallow:/third
Disallow:/beta
Disallow:/webmaster_logs
Disallow:/virtual
Disallow:/shockwave
Disallow:/TRANSCRIPTS
Disallow:/newscenter
Disallow:/virtual
Disallow:/DIGEST
Disallow:/QUICKNEWS
Disallow:/SEARCH
Disallow:/alt_index.html
User-agent:GoogleBot
Disallow:/cgi-bin
Disallow:/java
Disallow:/images
Disallow:/development
Disallow:/third
Disallow:/beta
Disallow:/webmaster_logs
Disallow:/virtual
Disallow:/shockwave
Disallow:/TRANSCRIPTS
Disallow:/newscenter
Disallow:/virtual
Disallow:/DIGEST
Disallow:/QUICKNEWS
Disallow:/SEARCH
Disallow:/alt_index.html
