大家都曉得約略是 百度有啊上線之前，淘寶網為了防止百度惡意抓取,直接屏蔽了百度蛛蛛，也就是當初鬧得滿城風雨的 robots.txt協議 。

　　就總算如今敞開淘寶的robots.txt協議，依舊可以看見淘寶還在屏蔽百度的蛛蛛。可是事情的真實情況上實在這麼麼，看下圖

　　

　　事情的真實情況證實淘寶的robots.txt文件根本對百度蛛蛛起不到不論什麼效用。小seo弟測度 百度之所以這樣做是由於百度思索問題到戰略方向的問題，由於查問了一下子 發覺韓都衣捨、暖倍兒等知名店鋪在百度的名次都很不賴。完全可以證實百度對淘寶這種店鋪的關緊性。更加戲曲化的是 天貓網(淘寶商城)也是運用robots.txt協議的。一樣屏蔽了百度蛛蛛

　　

　　一樣百度采取的舉止神情是 發瘋抓取 如圖

　　

　　還有一種有可能就是淘寶網以及天貓網的權重太高了，造成了百度蛛蛛不遵循搜索引擎網站協議而施行的抓取.然而對於這種事物 可以聯想到前些日期 一淘網惡意抓取京東商城以及新蛋網等的商品數值，也是不遵循搜索引擎網站規則的。

　　至今京東商城等也在屏蔽一淘網的蛛蛛

　　

　　采編想說的是 如今的搜索引擎網站為了自身好處而不遵循互聯網協議的規則，是值當反思的，呼吁這種互聯網大企業能在整個兒IT行業建立摽榜。不要為了一己之私而不遵循游戲規則。