151.80.41.169 - - [15/Feb/2016:13:12:14 +0800] "GET /robots.txt HTTP/1.0" 200 257 "-" "Mozilla/5.0 (compatible; MJ12bot/v1.4.5;
http://www.majestic12.co.uk/bot.php?+)" -
一天同一个页面爬好几次。
google 上只找到说是 万维网搜索引擎研究项目
这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。
https://www.v2ex.com/t/256928
V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.