如何利用robots.txt 優化 wordpress博客?

筆者在百度站長平臺檢測自己的博客時,出於優化的慣性,對博客的Rbots進行瞭檢測,進而在百度搜索瞭wordpress博客robots的寫法設置問題,看瞭很多wordpress高手對robots優化設置後,終於有所領悟,在此也分享給一些wordpress新手看看如何去善用robots.txt對wordpress博客進行優化。

一、先來普及下robots.txt的概念:

robots.txt(統一小寫)是一種存放於網站根目錄下的ASCII編碼的文本文件,它通常告訴網絡搜索引擎的漫遊器(又稱網絡蜘蛛),此網站中的哪些內容是不能被搜索引擎的漫遊器獲取的,哪些是可以被(漫遊器)獲取的。這個文件用於指定spider在您網站上的抓取范圍,一定程度上保護站點的安全和隱私。同時也是網站優化利器,例如屏蔽捉取站點的重復內容頁面。

robots.txt目前並不是一種標準,隻是一種協議!所以現在很多搜索引擎對robots.txt裡的指令參數都有不同的看待。

二、使用robots.txt需要註意的幾點地方:

1、指令區分大小寫,忽略未知指令,下圖是本博客的robots.txt文件在Google管理員工具裡的測試結果;

2、每一行代表一個指令,空白和隔行會被忽略;

3、#號後的字符參數會被忽略;

4、有獨立User-agent的規則,會排除在通配*User agent的規則之外;

5、可以寫入sitemap文件的鏈接,方便搜索引擎蜘蛛爬行整站內容。

6、盡量少用Allow指令,因為不同的搜索引擎對不同位置的Allow指令會有不同看待。

三、Wordpress的robots.txt優化設置

1、User-agent: *

一般博客的robots.txt指令設置都是面對所有spider程序,用通配符*即可。如果有獨立User-agent的指令規則,盡量放在通配*User agent規則的上方。

2、Disallow: /wp-admin/

Disallow: /wp-content/

Disallow: /wp-includes/

屏蔽spider捉取程序文件,同時也節約瞭搜索引擎蜘蛛資源。

3、Disallow: /*/trackback

每個默認的文章頁面代碼裡,都有一段trackback的鏈接,如果不屏蔽讓蜘蛛去捉取,網站會出現重復頁面內容問題。

4、Disallow: /feed

Disallow: /*/feed

Disallow: /comments/feed

頭部代碼裡的feed鏈接主要是提示瀏覽器用戶可以訂閱本站,而一般的站點都有RSS輸出和網站地圖,故屏蔽搜索引擎捉取這些鏈接,節約蜘蛛資源。

5、Disallow: /?s=*

Disallow: /*/?s=*

這個就不用解釋瞭,屏蔽捉取站內搜索結果。站內沒出現這些鏈接不代表站外沒有,如果收錄瞭會造成和TAG等頁面的內容相近。

6、Disallow: /?r=*

屏蔽留言鏈接插件留下的變形留言鏈接。(沒安裝相關插件當然不用這條指令)

7、Disallow: /*.jpg$

Disallow: /*.jpeg$

Disallow: /*.gif$

Disallow: /*.png$

Disallow: /*.bmp$

屏蔽捉取任何圖片文件,在這裡主要是想節約點寬帶,不同的網站管理員可以按照喜好和需要設置這幾條指令。

8、Disallow: /?p=*

屏蔽捉取短鏈接。默認頭部裡的短鏈接,百度等搜索引擎蜘蛛會試圖捉取,雖然最終短鏈接會301重定向到固定鏈接,但這樣依然造成蜘蛛資源的浪費。

9、Disallow: /*/comment-page-*

Disallow: /*?replytocom*

屏蔽捉取留言信息鏈接。一般不會收錄到這樣的鏈接,但為瞭節約蜘蛛資源,也屏蔽之。

10、Disallow: /a/date/

Disallow: /a/author/

Disallow: /a/category/

Disallow: /?p=*preview=true

Disallow: /?page_id=*preview=true

Disallow: /wp-login.php

屏蔽其他的一些形形色色的鏈接,避免造成重復內容和隱私問題。

10、Sitemap:/sitemap.txt

網站地圖地址指令,主流是txt和xml格式。告訴搜索引擎網站地圖地址,方便搜索引擎捉取全站內容,當然你可以設置多個地圖地址。要註意的就是Sitemap的S要用大寫,地圖地址也要用絕對地址。

上面的這些Disallow指令都不是強制要求的,可以按需寫入。也建議站點開通谷歌管理員工具,檢查站點的robots.txt是否規范。

好瞭,以上就是對利用robots.txt對wordpress博客進行優化的詳細內容,希望可以幫助和我一樣剛接觸wordpress博客的同學。

查看完整組圖

上一頁

下一頁