首先我先解釋一下子啥子是robots.txt，robots.txt是搜索引擎網站中過訪網站的時刻要檢查的第1個文件。Robots.txt文件奉告蛛蛛手續在服務器上啥子文件是可以被檢查的。當一個搜索蛛蛛過訪一個站點時，它會頭先查緝該站點根目次下是否存在robots.txt，假如存在，搜索機器人便會依照該文件中的內部實質意義來確認過訪的范圍;假如該文件不存在，全部的搜索蛛蛛將能夠過訪網站上全部沒有被口令盡力照顧的頁面。

　　不過眾多人都曉得有robots這回事，卻不曉得應當怎麼樣著手，今日我說下怎麼樣來寫robots.txt　首先你要想一下子那一些網站目次是沒想到被搜索蛛蛛給抓取的，哪一些是需求被抓取的，這個很關緊，假如涂寫robots可能會把屏蔽網站給搜索引擎網站收錄的。

　　robots.txt文件必須要寫在網站的根目次上頭，例如：

　　/seo/robots.txt

　　想的起來必須要在根目次就對了，而後裡邊的寫法有兩條

　　User-Agent: 適合使用下面所開列規則的隨意游玩器

　　Disallow: 要中途阻擋的網頁

　　User-Agent: Googlebot(baiduspider)這個就是谷歌(百度)的蛛蛛

　　Disallow: /seo

　　這麼寫的意思就是說我沒想到google還是百度的蛛蛛來抓取我seo這個文件夾裡邊的物品，*的話就代表所有。假如你樹立一個空的還是不樹立robots的話，該網站的所有內部實質意義都會搜索引擎網站所收錄，而後眾多人便會問了，網站不是被收錄的越多越好嗎?

　　我就打個比喻吧，你的網站生成靜態，不過之前的動態又還在，蛛蛛就是抓取兩個同時收錄，而後搜索引擎網站便會覺得兩個題目相同的文章顯露出來在同一網站的話便會覺得你是在作弊了，可能會被降權。

　　sitemap(網站地圖)

　　主要是由於眾多網站的內部實質意義都沒有其它鏈接，為了把這些個鏈接更好的連署起來，讓蛛蛛能抓取更多的資源。若是谷歌的話，大家可以注冊個管理職員具，生成的XML文件自個兒提交處理給谷歌，百度沒有管理職員具的話就可以經過在robots.txt裡邊寫Sitemap

　　寫法如下所述：

　　Sitemap：

　　這三種方式都可以，普通半自動都會生成xml，假如不會生成sitemap可以去網上找下工具還是運用一點開源的cms都會有自帶的!