淺顯的議論搜索引擎網站對robots.txt文件的引得事情狀況

  今日在查網站收錄的時刻,看見了一個從來在收錄上看見的一個網址,如下所述圖:

  


  由於從來在收錄裡看見過有robots.txt這麼的網址,所以就查閱了一下子資料,搜索到谷歌久已奉告了我們哪一些文件類型會編入引得,只是我沒有遇到過沒有認識到罷了!在這處我援用谷歌的一篇文章給大家參照一下子,正文如下所述:

  Google 可將哪一些文件類型編入引得?

  Google 可將大部分數類型的網頁日文件內部實質意義編入引得。我們最常編入引得的文件類型涵蓋:

  Adobe Flash (.swf)

  Adobe 便攜式文檔款式 (.pdf)

  Adobe Postscript (.ps)

  Autodesk Design Web Format (.dwf)

  Google 地球(.kml、.kmz)

  GPS 交換款式 (.gpx)

  Hancom Hanword (.hwp)

  HTML(.htm、.html、其它文件擴展名)

  Microsoft Excel(.xls、.xlsx)

  Microsoft PowerPoint(.ppt、.pptx)

  Microsoft Word(.doc、.docx)

  OpenOffice 演習文稿 (.odp)

  OpenOffice 電子表格 (.ods)

  OpenOffice 文本文件 (.odt)

  富文本款式(.rtf、.wri)

  可縮放向量圖形 (.svg)

  TeX/LaTeX (.tex)

  文本文件(.txt、.text、其它文件擴展名),涵蓋認為合適而使用常用編程語言的源代碼:

  Basic 源代碼 (.bas)

  C/C++ 源代碼(.c、.cc、.cpp、.cxx、.h、.hpp)

  C# 源代碼 (.cs)

  Java 源代碼 (.java)

  Perl 源代碼 (.pl)

  Python 源代碼 (.py)

  無線標記語言(.wml、.wap)

  XML (.xml)

  假如您在 Google 搜索中運用的是 filetype: 運算符(例如,filetype:xml galway),那末 Google 會搜索擴展名為 .xml 的文件,而不是文件類型為 XML 的文件。

  並非全部網址或網頁的文件擴展名都是 .html。某些網頁(如 )根本就沒有擴展名,而某些網頁的擴展名與其文件類型並不般配。只搜索特別指定的文件類型會回返具備相應文件擴展名的網頁,但回返的有關最後結果有可能較少。

  引述文章來自:http://support.google.com/webmasters/bin/answer.py?hl=zh-Hans&answer=35287

  看完這篇幫忙文章我就試驗著搜索看看是不是實在是那樣子的,我們用查尋文件指示來搜索,filetype:txt,獲得如下所述最後結果:

  


  可以看見排在首位的是美國地區的一個網站,敞開看如圖:

  


  依據TXT文本文件的搜索最後結果,是不是可以結合到我們的robots文件也是文本款式呢?是不是同樣會被引得呢?解答是肯定滴!

  讓我們來搜索一下子robots.txt是不是實在如我們上頭說的那樣子會被引得。我們在搜索 框輸入 robots filetype:txt ,意思就是查尋被引得的robots txt文件。搜索最後結果如下所述:

  


  搜索最後結果證明,我原先對於搜索引擎網站對robots.txt文件會收錄嗎?這個疑慮如今有了明確的解答,那就是:搜索引擎網站對robots.txt文件會收錄!

  今日和大家就分享到這處,如有不一樣觀點可以和我商議哈!