搞定 robots，你有什么好的建议吗？

[thinkmore]

最近在做一个关于爬虫的小东西，但是需要解析robots.txt(网站根目录下,例如:www.v2ex.com/robots.txt或者是www.baidu.com/robots.txt),该协议定义了网站哪些目录下的文件可以被爬取，哪些不能爬取，当然我还是有自知之明的，知道全部解析是不可能的，只是想要解析
User-agent:*
Disallow:*
那一段。
拿v2ex举例吧！
User-agent: *

Disallow: /backstage/
Disallow: /signin
Disallow: /signout
Disallow: /settings

该网站表示上面四个目录下的任何东西不允许被爬取

baidu比较叼，对于不出名的爬虫，任何目录都不准爬取
User-agent: *
Disallow: /

但是这个要解析文本，大家有什么好的建议，或者是解析工具嘛？能够解析的代码也行
自己手写也行，也不是很麻烦，只是网上搜了，感觉这方面的不是很多

最后感谢各位v2er们！

[14]

Python 标准库就有解析器。。。
https://docs.python.org/2/library/robotparser.html

[imn1]

首先说什么语言，python就有robotparser可以用

[thinkmore]

@14
@imn1
我想要知道的是Java有吗？

[14]

@thinkmore http://lmgtfy.com/?q=java+robots.txt

[thinkmore]

@14 如果你是建议我在谷歌搜索的话，真心的这个地址速度太慢了
http://203.211.0.7/这个挺快的
我去google试一试，thanks

[thinkmore]

@14
@imn1
Crawler-Commons怎么使用？可以给出一个小例子或者文档嘛？

[thinkmore]

已经搞定了,stackoverflow果然强大