有没有爬虫管理开源项目，可以管理爬虫脚本、ip 代理池、数据可视化

[nunet]

有时候写了一些爬虫脚本，但都是单文件的，每次都要指定好数据库字段，然后运行爬虫爬取数据。 我就在想，有没有可以管理爬虫脚本的项目，支持将爬虫脚本编辑和运行，支持预览爬取的数据，可以配置 ip 代理池。我在 github 上找了一下，没有找到。自己开发的话，感觉是个大工程。

[bqzzd]

crawlab 、scrapyweb

[suckinbottle]

这种带有自定义的功能，建议是自己开发一个。另外，建议将脚本集成到框架中去管理，这样就更加方便。

[xixiv5]

代理池有推荐的吗

[yb8Qes1Qae01H0xy]

用 scrapy 开发了一些脚本，比较稳定
scrapyweb ，用过一段时间，bug 很多 ，现在用 crontab 调用 scrapy ，稳的一笔

[macaodoll]

我都是自己开发,