通用化自动爬虫功能,没啥实现思路了....

[U87]

目前有这么个需求,前台通过编辑添加网址的方式,后台的爬虫自动爬取该网址.目前的思路是前台添加的存到数据库,写个定时任务读数据库的 url,如果 url 有增加,再写个通用爬虫框架,把 url 放到通用爬虫框架里,实现自动化配置爬虫. 现在这个通用爬虫框架有点难搞啊 @__@

[aino]

我写过一个，也是前台配置好 URL，并且配置好爬取规则（ xml 格式），后台就一套爬取逻辑，遍历 xml 去执行爬取任务

[519718366]

你可以借鉴下 webmagic 的产品化方案
https://github.com/code4craft/webmagic/issues/43

[U87]

@aino 这个有点东西的呀.能私聊下吗

[U87]

@519718366 好滴谢谢

[jisibencom]

有的，scrpy 有 web 版，还有个国产的什么搜客吧，不过用了之后你会发现连火车头的 1%的便捷性都不到。

[aino]

@U87 #3 有什么需要问的吗

[U87]

@aino 有的 能加 qq 吗