首先，我們要來個免責聲明-它們並不盡然是不可缺少的-但以防萬一但你務必注意的是，這些個是一個概念化的物品，至少我是這麼覺得的，還沒有施行實際的測試和實踐證實。
蛛蛛的反向爬動至少我首次起這個姓名的時刻我是這麼想的。這種想法出處於眾多的地方：
網站的頁面的深度假如頎長的話那對爬動和引得來說都是一個挑戰，由於它們的結構很深，領有數量多的頁面，會有爬動的絆腳石(例如那一些數量多基於參變量的URL還是那一些被覺得沒有啥子價值的頁面，這種事情狀況會常常顯露出來在一點電子商業上的事務的網站。)
還是一個網站期望能夠盡有可能的充分並迅疾的被引得(或許一個網站添加了新的內部實質意義，它的URL便會發生詩劇化的變更，盡管301已經被定位了，還是這是一個新的站點)。
因為這個，怎樣能力使網站能夠被正常的爬動和引得?一般是經過以下的幾種形式：
發覺：搜索引擎網站蛛蛛會依據鏈接進入了到你的網站
提交處理：一個站長會把站點和頁面提交處理給搜索引擎網站
XML網站地圖：一個站長給它們的網站開創一個XML網站地圖，並經過搜索引擎網站使它們變得管用，還是就把它放在網站的根目次作為一個網站地圖還是利用ROBOTS文件來施行半自動搜索。
這些個辦法都是長處和欠缺的，不過它們至少解決了怎麼樣讓蛛蛛進入了它們的站點，經過運用XML網站地圖，可以幫忙蛛蛛穿過一點爬動的絆腳石。不過它也不是絕對正確的，不過我覺得這是一個自上而下的路線，像就是這樣
不管是直接仍然間接，主頁被發覺了。那末蛛蛛便會依照它們自個兒的路線施行爬動。從最高級的導航到第二層讓後到子導航，爬動到頂點級的分類頁面，經過子分類的界面，而後到更深的產品和信息頁面。反過來說，你想施行引得的這些個頁面同時佔據了頭部和長尾的搜索。這些個也很可能是萌生買賣商品還是是轉化的頁面。
蛛蛛蒞臨你頁面的頻率是若乾?他們一次性通例會爬若乾頁面?新的頁面會多久纔會被發覺和抓取?相對而言舊的頁面會多久被發覺和抓取?實質上來說，應當均衡抓取，這就詮釋了為何擯除重復性內部實質意義的關緊性。你沒想到疼愛的蛛蛛把時間耗費在爬過和收錄過的內部實質意義。
當你為一點大型的網站指出這些個問題的話，你發覺想讓蛛蛛去爬動和喜歡的URL真的是多的讓人感到使人害怕，縱然沒有那一些掩飾著的爬動絆腳石。請記取，甚至於是XML網站地圖，每個網站地圖最多只能涵蓋50000個URL，最少20個單獨的網站地圖的話加起來便會有1000000個頁面。
要強調的是，我要提示大家這種事情狀況並不舒服合使用於全部的網站和事情狀況。這種蛛蛛反向爬動的基礎和運用XML網站地圖是有點不一樣的。典型的XML網站地圖策略是要提交處理每一個URL，就是期望每個頁面都能被引得。這或許不是最好的策略，不過這是額外一個問題了。縱然那樣子，這些個策略往往會給首頁過多的權重和優先權。
正好相反，我們應當把網站地圖的重點放在一點劣等級的頁面上。一般都是單個的產品和信息頁面。這種思想就是讓蛛蛛去那一些最深層最難爬的頁面。
他們在這以後還會去哪裡呢?它們會依照蛛蛛做的那樣子做，著手爬動。想想這些個深層級的頁面。但願它們內部實質意義浩博況且富裕網站關鍵詞。它們或許涵蓋一點可以導航的元素，縱然不是絕對的高等級的導航，至少是一點分類導航。假如網站有大致相似的面粉和水發酵制成的食品屑導航的話，我們可以直接喂給蛛蛛這些個面粉和水發酵制成的食品屑。
在這點上，我們應當更好的以更多的形式給蛛蛛展出我們的網站。這個觀念或許並不是關於反向爬動的，反倒是關於讓蛛蛛從兩個底端著手爬動，這麼的爬動最後也能到頂點部的導航。
我們通例會如果蛛蛛會很天然的首先去找首頁而後就勢往下爬遍整個兒網站。和那一些多樣化的產品等級的頁表情形從主頁到頂點層頁面有若乾個惟一的URL?我的猜測是由於頁面深度的不一樣，兩個等級的頁面的抓取數目是有非常大的不一樣的。
正如我提到的，我覺得這是一個低風險的路線。不管有沒有xml網站地圖，蛛蛛們都能找到頁面的。它們會找到不在網站地圖中的頁面，因為這個縱然是一個沒有首頁和最高級頁面的網站地圖，也不會漏下掉這些個頁面。
在天然背景下，或許不會顯露出來這些個問題。蛛蛛會迅疾爬過整個兒網站。一朝它們發覺了鏈接它們便會追根究底。或許這些個頁面埋得太深了，它們有些兒不太喜歡。
不管怎麼樣，讓這些個網頁被爬到和引得是很關緊的，對於我的站來說這確實是一個困難的過程。也許這只是一個時間問題。至少我要去試驗。一朝像我假想的那樣子整個兒網站的那一個等級的頁面都被樹立了引得，我就可以接著並在XML網站地圖中添加其它的URL，還是我可以做個實驗，不把網站地圖放在網站裡。
那一些神乎其神的問題是：
總體上說是不是更多的頁面樹立了引得?
是不會讓那一些深層頁面更好更快的被樹立引得?
文章來源為 /seofuwu/seocehua/ 上海麗姿鷗，網站優化資深專家，過載請保存來源!承擔不了衷心感謝!