本人想做的个垂直搜素，
首先制作爬虫
我的方案是
www.a.com加入后台。
后台每日执行爬虫任务，
访问www.a.com 更新快照，解析html代码里a的url，保留a.com的url,
然后进行二次、三次继续爬行。。。
第一次入库是 记录 id url sha值防止重复抓取
现在有个问题，
每日爬虫任务，三四层就可以了，在深度更多的都是重复的，
但第一次如何对这个网站深度爬行呢，基本上能达到90%页面抓取，如何做到
难道五层 六层这样深度去爬？
有没有什么办法，实现对总量的预估，和现在进度的分析？
就第一次深度爬行方案，谢谢
这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。
https://www.v2ex.com/t/97971
V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.