在08年鬧得滿城風雨的關於淘寶運用robots協議屏蔽百度蛛蛛的事情，想必有經歷過那一個事情的人如今還記憶猶新，淘寶以有不好的商家融會貫通過百度的施行競價名次還是搜索引擎網站優化的形式來哄弄消費著的端由，無情的不接受了百度的搜索引擎網站，而經過的辦法就是運用robots協議屏蔽百度。如下所述圖所示。

　　

　　我們可以看見，淘寶已經在robots中不接受了百度蛛蛛對整個兒站點的引得與收錄。事情已通過去四年左右了，那最後結果實在就是百度沒有辦法抓取淘寶的頁面嗎?事情的真實情況是，百度並沒有篤守robots協議，仍然對淘寶的局部頁面施行了抓取。如下所述圖所示。

　　

　　上圖我們可以發覺，淘寶的眾多頁面仍然依舊被百度抓取著。對於百度為何要麼篤守robots協議，執意施行淘寶頁面的抓取呢?作者覺得這是一個戰略方向的問題，我們都曉得到現在為止淘寶是到現在為止國內互聯網上最大的電子商業上的事務平臺，其起著舉足輕重的地位。我們接著查了一下子，在淘寶上有名的店鋪，如韓都衣捨在百度上也有不賴的名次。注意證實百度對與淘寶的關心注視度。同時我們發覺淘寶近期纔把姓名改成年累月seo貓的淘寶商城同時也屏蔽了百度，如下所述圖所示。

　　

　　最後結果是同樣的，天貓依舊被抓取了。

　　對於這種最後結果的端由還有一點兒就是有可能是由於天貓的權重太高，於是乎百度突破協議施行引得抓取。

　　額外一個不准守協議的就是一淘網，相關心注視電子商業上的事務站點資訊的人就應當曉得，京東商城，新蛋網等也有經過robots施行對一淘網的屏蔽，如下所述圖所示。不過我們依舊可以在一淘中找到這些個站點的有關頁面。

　　

　　作者覺得國內的互聯網到現在為止還處於一個相對沒秩序的標准樣式，眾多公司都不篤守有關的協議，這是值當我們施行反思的，作者覺得作為一個互聯網的巨頭，應當從自我做起來起到一個互聯網行業的楷模效用。