搜索引擎真的遵守robots.txt協議嗎?

我們都知道robots.txt文件是搜索引擎遵守的一個抓取協議,但是是不是真的有效果呢?

搜索引擎真的會遵循這個協議嗎?

讓我們首先來看看

下面這段 [這是我南昌SEO站點的robots.txt設置:允許GG 百度、ALEXA 抓取,屏蔽瞭其他一切引擎禁止!]

User-agent:Googlebot

Disallow:

User-agent:baiduspider

Disallow:

User-agent:ia_archiver

Disallow:

User-agent:*

Disallow:/

從理論上來說 這樣的設置就屏蔽瞭其他一切引擎,但實際上這種方法並不能完全屏蔽SOSO YAHOO MSN之類的爬蟲,在YAHOO上輸入site:還是可以看到內容以及索引的!
遵守robots協議與否當然是由他們自己說瞭算的!所以要想完全屏蔽搜索引擎的爬蟲,需要在.htaccess中加入限制語句才行,這裡我們介紹2種最簡單的方法:
1:

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^MSNBOT [NC]
RewriteRule .* - [F]

2:

SetEnvIfNoCase User-Agent ^MSNBOT bad_bot

<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

註:MSNBOT 為MSN蜘蛛機器人代碼 ,如果想要真正屏蔽某個搜索引擎 把其中的紅色部分[MSNBOT]
換成你想要屏蔽的蜘蛛機器人代碼即可!
請不要隨意添寫 否則造成損失與本人無關!
SEO小林發佈,轉載請註明出處:江西南昌SEO /