因為雅虎搜索對於網絡抓取采取數量多系統，因為這個，我們的網絡服務器會從不一樣的YST(雅虎搜索技術)抓取手續的客戶端IP地址登錄煩請。不一樣的抓取手續系統你我合適，來限止不論什麼來自純一網絡服務器的活動。所說的純一網絡服務器，是由IP地址判斷的。因為這個，假如我們的服務器主機領有多個IP，它的活動則會處於更高的級別。

　　YST有一個特別指定的擴展名，在我們的服務器根目次下的robots.txt裡可以應用，經過它可以對雅虎搜索的抓取手續設定一個較低的抓取煩請頻率。可以在robots.txt裡參加Crawl-delay:xx的指使，那裡面，xx是指在crawler手續兩次進入了站點時，以秒為單位的最低延時。假如crawler頻率對我們的服務器是一個負擔，我們可以將這個延時設定為不論什麼妥當的數碼，例如50或200。

　　例如：我們想要設定一個5秒的延時，可以在robots.txt裡參加以下語句 ：

　　User-agent: Slurp

　　Crawl-delay: 5

　　也可以設定更長時間的延時，在此網智成不再贅述。