A5營銷:網站Robots.txt協議,你懂多少?

  網站Robots.txt文件,是網站與搜索引擎交流的通用協議,通過Robots協議的設置告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取:一方面可以做網站安全的防護,更重要的是用來做優化,減少無效頁面的收錄,提升站點的排名效果。

  但是在實際的操作中,絕大多數的網站,在其撰寫上都存在或多或少的欠缺,甚至由於技術性的錯誤撰寫,還會導致網站降權、不收錄、被K等一系列問題的出現。對於這一點,A5營銷,包括我,在對客戶的

  上面是某客戶網站發現的問題,被百度收錄的原因是:有人惡意提交此類型的鏈接,但是網站本身又沒有做好防護。

  三:撰寫上的細節註意事項

  方法上來講,絕大多數的站長都明白,這裡就不做多說瞭,不明白的站長,可以上百度百科看一下。今天這裡說一些不常見的,可能是不少站長的疑問。

  1、舉例:Disallow; /a 與Disallow: /a/的區別,很多站長都見過這樣的問題,為什麼有的協議後加斜杠,有的不加斜杠呢?筆者今天要說的是:如果不加斜杠,屏蔽的是以a字母開頭的所有目錄和頁面,而後者代表的是屏蔽當前目錄的所有頁面和子目錄的抓取。

  通常來講,我們往往選擇後者更多一些,因為定義范圍越大,容易造成誤殺。

  2、JS文件、CSS需要屏蔽嗎?不少網站都做瞭這個屏蔽,但是筆者要說的是:google站長工具明確的說明:封禁css與js調用,可能會影響頁面質量的判斷,從而影響排名。而對此,我們做瞭一些瞭解,百度方面同樣會有一定影響。

  3、已經刪除的目錄屏蔽,很多站長往往刪除一些目錄後,怕出現404問題,而進行瞭屏蔽,禁止搜索引擎再抓取這樣的鏈接。事實上,這樣做真的好嗎?即使你屏蔽掉瞭,如果之前的目錄存在問題,那麼沒有被蜘蛛從庫中剔除,同樣會影響到網站。

  建議最佳的方式是:將對應的主要錯誤頁面整理出來,做死鏈接提交,以及自定義404頁面的處理,徹底的解決問題,而不是逃避問題。

  上文為A5站長網:SEO項目經理(賀貴江wechat:senske)公益分享,我們每一個人在成長的過程中,都會遇到一些坎,找對瞭方向,就解決瞭問題,如果找不對方向,做的也是適得其反。

  本次公益分享就這麼多,如果您的網站迫切需要解決問題,請聯系A5營銷/seo/zhenduan/ SEO診斷服務,我在等你,為企業提供新動力!