国外的一个ROBOTS在线验证工具，此robots.txt分析仪是由 Motoricerca，是一个非营利性的意大利的网站优化和搜索引擎定位指南
http://tool.motoricerca.info/robots-checker.phtml
看看它的obots.txt文件的语法格式是有效的建立 机器人排除标准 （请阅读文档和教程，学习基本知识），
不过要注意，使用这个工具，请把robots.txt里的汉字注释清除，它识别不了汉字；如果有汉字在里面的话，它就不认为这是一个robots.txt文件了。
如果robots文件验证通过的话，一般会显示以下结果：
Analyzing file http://www.XXX.com/robots.txt
No errors found in this robots.txt file
Hide empty and comments lines:
The following block of code DISALLOWS the crawling of the following files and directories: /inc/ to all spiders/robots.
Line 1 # robots.txt for www.XXX.com
Line 2 User-agent: *
Line 3 Disallow: /inc/
另外，Google网站管理员工具也可以在线验证robots文件，google是支持中文注释的。
要分析网站的 robots.txt 文件，请按以下步骤操作：
使用 Google 帐户登录 Google 网站管理员工具。
在”控制台”中，点击所需网站的网址。
使用 Google 帐户登录 Google 网站管理员工具。
在”控制台”中，点击所需网站的网址。
点击工具，然后点击分析 robots.txt
