對於搜索引擎網站，稀少數旗手對搜索引擎網站蛛蛛說不，這那裡面最為大家知道得清楚的就是淘寶屏蔽百度蛛蛛，還有一點交友網站屏蔽搜索引擎網站蛛蛛，而私人站長，要對搜索引擎網站說不是困難的，更多的站長則將之奉為尊貴的客人，而seo我，一個私人站長，IP不到1000IP，為什麼也這麼囂張，竟至對搜索引擎網站說不，眾位看官，聽我慢慢說來。

　　今日是一個值當欣慰的日期，睡醒第1件事，敞開電腦，上51yes.com檢查網站流量，一看，了不得。

　　心中這個爽啊，流量狂漲啊，暫時慢著欣慰，流量上昇，我是必須要弄清楚流量來自哪兒的，不看不曉得，一看嚇一跳。

　　當初心下就涼了一截，這可全是垃圾流量啊，對於運用共享空間的我來說，這可不是啥子好管閑事，惟一的方法：封!垃圾流量，我要對你講不!

　　於是馬上改寫robot.txt嚴禁MSN蛛蛛過訪

　　在這處，尤其想提示廣大嚴肅對待做站，口袋裡又沒有若乾白銀的站長，必須要嚴肅對待仔細看垃圾流量，那一些不會給你帶來不論什麼的收入，只會給你增加另外的負擔，外再閱覽數值過訪生產進度報表時的虛榮心!

　　附常見搜索引擎網站蛛蛛名字：

　　Google的蛛蛛： Googlebot

　　百度的蛛蛛：baiduspider

　　Yahoo的蛛蛛：Yahoo Slurp

　　MSN的蛛蛛：Msnbot

　　Altavista的蛛蛛：Scooter

　　Lycos的蛛蛛： Lycos_Spider_(T-Rex)

　　Alltheweb的蛛蛛： FAST-WebCrawler/

　　INKTOMI的蛛蛛： Slurp