眾多人看來的爬行動物是神乎其神的，也導致一個最常見的實踐後的經驗之談——實踐證實百度爬行動物會秒收原創的內部實質意義!

　　當然在不論什麼一個略懂搜索引擎網站原理的人眼中，這就是毫不靠譜的實踐。假如說實踐是證驗真理的形式的話，那前摘要是有了比較完備seo的理論如果往後再去證驗的。而像爬行動物根本沒有剖析內部實質意義的有經驗，怎有可能判斷頁面內部實質意義是否原創往後再施行收錄呢?

　　甚至於有人覺得爬行動物根本就不會去抓取搜集的內部實質意義，這就更奇怪了，爬行動物不是先知，抓取之前怎麼會曉得頁面是否是搜集的呢?(這處不思索問題一個特別事情狀況，即搜索引擎網站有可能參照網站群體原創率來表決抓取優先級的問題，但這個比較深了)

　　搜索引擎網站四個系統：下載、剖析、引得、查問，這四塊的辦公基本獨立的，判斷搜集與否的辦公處於剖析系統。並且估計是出於大規模頁面查重的速率思索問題，重復頁面普通被引得往後隔比較長的時間纔會被刪去。即，搜索引擎網站收錄頁面與否，至少和這個頁面本身品質無關。

　　如今已經解釋明白了爬行動物沒有辦法判斷頁面品質，但實際上嚴明意義上，爬行動物連提出取得鏈接的效用都沒有，它只是天真一個TCP/IP手續罷了。但剖析鏈接的事物老是要做的，不然爬行動物也沒法抓取新的頁面了。正確的講，剖析鏈接是交由調度員來做的。爬行動物1抓取頁面，頁面交付調度員1剖析，調度員1把全部發覺的鏈接存到URL庫1，並把一小批調度員覺得關緊的鏈接回返爬行動物1，讓爬行動物1去抓取那一些關緊的頁面。同時，爬行動物1抓取過的頁面交付Page庫1，假如Page庫1裡邊的頁面和URL庫1裡邊重復的話，就不再重復抓取。

　　大型經濟活動搜索引擎網站都是多爬行動物並肩辦公的，此時每個調度員還要和總調度交換信息，因此分配各個爬行動物的具體辦公。假如看見幾個爬行動物常常輪番的瞬息間內抓取一個頁面多次的話，往往就是調度辦公沒做好。

　　然而實際上諸如調度員什麼的的，納入爬行動物手續裡邊也不可以算錯。只是一個講法相對嚴密謹慎、一個講法相對寬松罷了。但不管怎麼樣的是，爬行動物只管下載，最多就合適調度員多幾個名堂來下載而已。