php記錄蜘蛛代碼 總結蜘蛛活動規律

很多做seo的， 經常會問為什麼我的頁面沒有被收錄，為什麼我的快照還是上個星期的，怎麼百度還不更新我的站點。這些都是剛入門問的問題。做seo的人都知道，知道搜索引擎的規律很重要。你要知道蜘蛛是否來過你的站點，什麼時候來 過，是哪傢蜘蛛。這些都有利於你針對性的做優化。

很多服務器支持蜘蛛爬行日志，但是大部分站長都是虛擬機，有的空間並不支持記錄蜘蛛爬行。這時候就需要我們編寫代碼來記錄蜘蛛的活動規律。

在網上找瞭很多的代碼都不能正確使用，或者功能不完善。

隻要自己研究起來。總結出一下一套代碼，百分百保證使用。

<?php

function get_naps_bot()

{

$useragent = strtolower($_SERVER[‘HTTP_USER_AGENT’]);

if (strpos($useragent, googlebot) !== false){

return Googlebot;

}

if (strpos($useragent, msnbot) !== false){

return MSNbot;

}

if (strpos($useragent, slurp) !== false){

return Yahoobot;

}

if (strpos($useragent, baiduspider) !== false){

return Baiduspider;

}

if (strpos($useragent, sohu-search) !== false){

return Sohubot;

}

if (strpos($useragent, lycos) !== false){

return Lycos;

}

if (strpos($useragent, robozilla) !== false){

return Robozilla;

}

return false;

}

function nowtime(){

$date=date(Y-m-d.G:i:s);

return $date;

}

$searchbot = get_naps_bot();

if ($searchbot) {

$tlc_thispage = addslashes($_SERVER[‘HTTP_USER_AGENT’]);

$url=$_SERVER[‘HTTP_REFERER’];

$file=robotslogs.txt;

$time=nowtime();

$data=fopen($file,a);

$PR=$_SERVER[REQUEST_URI];

fwrite($data,Time:$time robot:$searchbot URL:$tlc_thispage\n page:$PR\r\n);

fclose($data);

}

?>

以上代碼比網上流傳的版本多瞭個記錄搜索引擎請求頁面記錄，可以看到蜘蛛每次來爬取的是那個頁面。更加利於分析蜘蛛對網站的權重以及對不同欄目和頁 面的青睞。

Seo最終的是從實際出發，用數據說話，而不是憑空想象。一切優化的基礎都是數據，一切優化的目的也是為瞭得到數據。

本文出自ceo 風向標 轉載請註明出自/seo/371.html