說的簡單易懂一點，網絡爬行動物跟你運用的〖離線閱覽〗工具相差無幾。說離線，實際上仍然要跟網絡連接，否則怎麼抓物品下來？那末不一樣的地方何在？

　　1）網絡爬行動物高度可配備布置性。

　　2）網絡爬行動物可以解析抓到的網頁裡的鏈接

　　3）網絡爬行動物有簡單的儲存配備布置

　　4）網絡爬行動物領有智能的依據網頁更新剖析功能

　　5）網絡爬行動物的速率相當的高

　　那末根據特點標志，實際上也就是要求了，怎麼樣預設爬行動物呢？要注意哪一些步驟呢？

　　1）url 的遍歷和紀錄

　　這點 larbin 做得十分的好，實際上對於url的遍歷是很簡單的，例如：

　　cat [what you got]　 tr \ \\n 　 gawk ‘{print $2}’ 　 pcregrep ^http://

　　就可以獲得一個所由的 url 列表

　　2）多進程項 VS 多線程

　　各有長處了，如今一臺平常的的PC 例如 booso.com 一天可以輕松爬下5個G的數值。大約20萬網頁。

　　3）時間更新扼制

　　最傻的作法是沒有時候間更新權重，一通的爬，回頭再一通的爬。

　　一般在下一次爬的的數值要跟上一次施行比較，假如蟬聯5次都沒有變動，那末將爬這個網頁的時間間隔擴張1倍。

　　假如一個網頁在蟬聯5次爬取的時刻都有更新，那末將設置的爬取時間縮減為原來的1／2。

　　注意，速率是取得勝利的關鍵之一。

　　4）爬的深度是若乾呢？

　　看事情狀況了。假如你比較牛，有幾萬臺服務器做網絡爬行動物，我勸您跳過這一點兒。

　　假如你同我同樣只有一臺服務器做網絡爬行動物，那末這麼一個計數您應當曉得：

　　 網頁深度：網頁個數：網頁關緊程度

　　0 : 1 : : 10

　　1 :20 : :8

　　2: :600: :5

　　3: :2000: :2

　　4 above: 6000: 普通沒有辦法計算

　　 好了，爬到三級就相差無幾了，再深化一是數值量擴張了3／4倍，二是關緊度確減退了很多，這叫做種下的是龍種，收獲的是虼蚤。

　　5）爬行動物普通不之間爬對方的網頁，普通是經過一個Proxy出去，這個proxy有緩解壓力的功能，由於當對方的網頁沒有更新的時刻，只要拿到 header 的 tag就可以了，沒有不可缺少所有傳道輸送一次了，可以大大節省網絡帶寬。

　　apache webserver裡邊紀錄的 304 普通就是被cache的了。

　　 6）請有空的時刻照料一下子robots.txt

　　 7）儲存結構。

　　這私人人見智，google 用 gfs 系統，假如你有7／8臺服務器，我勸你用NFS系統，要是你有70／80個服務器的話我提議你用afs 系統，要是你只有一臺服務器，那末輕易。

　　 給一個代碼片段，是我寫的新聞搜索引擎網站是怎麼樣施行數值儲存的：

　　 NAME=`echo $URL 　perl -p -e ‘s/([^\w\-\.\@])/$1 eq \n ? \n:sprintf(百分之百百分之百百分之百2.2x,ord($1))/eg’`mkdir -p $AUTHOR

　　newscrawl.pl$URL–user-agent=news.booso.com+(+http://booso.com)-outfile=$AUTHOR/$NAME

尤其是注意以下幾句：

　　1.一般在下一次爬的的數值要跟上一次施行比較，假如蟬聯5次都沒有變動，那末將爬這個網頁的時間間隔擴張1倍，假如一個網頁在蟬聯5次爬取的時刻都有更新，那末將設置的爬取時間縮減為原來的1／2。

　　 網頁更新頻度嚴重影響著搜索引擎網站蛛蛛程度對網站的爬動，爬取回數越多意味著網頁收錄概率會越大、收錄數目越多，收錄是SEO最基礎的一個環節。

　　2.好了，爬到三級就相差無幾了，再深化一是數值量擴張了3／4倍，二是關緊度確減退了很多，這叫做種下的是龍種，收獲的是虼蚤。

　　盡力將網站維持在三級目次內，深層級的網頁會給搜索引擎網站帶來非常大的壓力，當然，我想Google有足夠的服務器來承受這些個壓力，但從側面來說，3層目次下的網頁被抓取及更新的頻度要矮半截。面前，我說過，要設法使網站物理結構和思維規律結構吻合，這表現出來於URL的令人滿意預設，如今你可以查緝下前臺生成的靜態網頁的實際目次有幾層，思索問題是否可以優化。（責任編輯：admin02）