說的簡單易懂一點，網絡爬行動物跟你運用的〖離線閱覽〗工具相差無幾。

　　1.url 的遍歷和紀錄

　　2.多進程項 VS 多線程

　　3.時間更新扼制

　　4.爬的深度

　　5.爬行動物普通不直接爬對方的網頁，普通是經過一個Proxy出去，這個proxy有緩解壓力的功能，由於當對方的網頁沒有更新的時刻，只要拿到 header 的 tag就可以了，沒有不可缺少所有傳道輸送一次了，可以大大節省網絡帶寬。

　　6.請有空的時刻照料一下子robots.txt

　　7.儲存結構。

　　網頁更新頻度嚴重影響著搜索引擎網站蛛蛛程度對網站的爬動，爬取回數越多意味著網頁收錄概率會越大、收錄數目越多，收錄是SEO最基礎的一個環節。

　　盡力將網站維持在三級目次內，深層級的網頁會給搜索引擎網站帶來非常大的壓力，當然，我想Google有足夠的服務器來承受這些個壓力，但從側面來說，3層目次下的網頁被抓取及更新的頻度要矮半截。面前，我說過，要設法使網站物理結構和思維規律結構吻合，這表現出來於URL的令人滿意預設，如今你可以查緝下前臺生成的靜態網頁的實際目次有幾層，思索問題是否可以優化。