親身經歷robots文件出錯造成新站不收錄

  做SEO也已經一年了,感受有些小水准了,應當可以自個兒操作1,2個站看看了,所以八月份兒下旬自個兒做了個淘寶,賣點小玩意,捎帶腳兒自個兒練練手,大家都曉得,淘寶和百度都是有網上售賣業務的,是一種競爭關系,兩個肯定是互不相容的 ,淘寶網不鳥百度,屏蔽了蛛蛛的抓取,所以我就想著和另外的人同樣,自個兒額外建個站,而後在百度施行推廣,搞搞名次,為我的淘寶店多吸引些流量過來。想做就做,九月初站點就准備好上線了,以下是網站上線前的優化過程:

  首先我要做的是一個正規戰,所以我都是用正規的操作,上線前先用ROBOTS.TXT文件來屏蔽蛛蛛的抓取,先把網站排字好,把原有的一點JS代碼和駢枝的垃圾代碼刪去。而後寫好網站題目,明確承認不會有顯露出來堆砌網站關鍵詞的嫌疑,繼續在每個內部實質意義模塊都發4、5的原創還是偽原創文章,把網站補充好,別等上線時讓搜索引擎網站感到這網站沒關系內部實質意義來抓取。網站題目,內部實質意義,結構,布局都擺平了,就網站可以上線了。

  我先把ROBOTS.TXT改歸來,准許搜索引擎網站來抓取內部實質意義,而後發1、2篇原創文章上去,繼續去各大搜索引擎網站提交處理網站登陸口,繼續再等到晚上去HKSEO吸引蛛蛛的專門版塊,在晚上11:00到00:30的時間內,宣布原創軟文,在上頭添加自個兒網站的鏈接,迅速吸引蛛蛛來爬取我的網站。最終就坐待收錄了,我想最多下一天、後天網站便會收錄的,最後結果不測發生了,第三天都抄沒錄,感受很奇怪,在這時期,我都有更新內部實質意義和發一點外鏈的,按道理說應當久已要收錄的。我就上FTP下載了日記來看,發覺上線那天晚上12點的時刻蛛蛛來過了,但爬取到robots.txt文件時就走了,很發悶,忖摸著應當是robots.txt文件哪兒出錯了,就敞開看看,下邊是看robots.txt文件一點發覺:

  發覺robots規則設置都沒有問題,再檢查手續生成的robots.txt文件,與後臺設置一模同樣,進入了webmaster檢查抓取,在拆取工具職權范圍欄目入seo眼見:第1行:?User-agent:*,而後最後結果是語法不正確。很表面化多出一個?,莫名其妙,真的不曉得是啥子問題,沒轍了,只能用絕著了,用摹擬搜索引擎網站來爬取下網站,看看見盡頭哪兒出問題了,果不其然看出問題存在的地方,是因為txt文件的編碼錯誤所致,寫入文件時認為合適而使用了utf8編碼,但搜索引擎網站表面上很像對robots的utf-8編碼並不可以准確了解,將手續改寫為ansi編碼在這以後問題目解釋題決終於解決了。

  在這以後晚上再去HKSEO引蛛蛛,沒有遇到困難收錄了,一個小細節造成我的網站晚了4牛人收錄,假如沒發覺,估計還更慘,所以日常我們做SEO的要多注意一點小問題,細節不可以不合適回事,特別是ROBOTS.TXT文件,是蛛蛛來網站第1個爬取的文件,一有差失,便會顯露出來大問題,也有人們經過改正另外的人robots.txt文件,來危害我們網站,日常多注意看看,然而還好這個容易見得,只要調日記出來看看久能大概曉得錯在哪,所以我們也要養成多看日記的習性。