需求征集 这样的产品有没有人用?

2022-04-14 09:58:01 +08:00
 nyfwan123
一个爬虫综合管理框架
整合了常见如 github 、Twitter 、rss 等等等等采集源数据接口
使用者只需要按照定义好的配置文件规范编写配置文件就可以零代码管理众多爬虫
同时输出 api 、log 、task 信息等(无 GUI )

如果有 我就做一个(免费但不开源)
提示:我只是提供了一个框架 并不是提供爬虫 最终某用户因为写了某目标的配置文件导致爬虫运行 与我无关
847 次点击
所在节点    问与答
6 条回复
986244073
2022-04-14 10:11:46 +08:00
可以做一个
freeup
2022-04-14 11:12:49 +08:00
和八爪鱼挺像的功能 目的都是减少爬虫开发工作量
nyfwan123
2022-04-14 11:45:01 +08:00
@freeup 八爪鱼是 win 下的那个软件吧 我目的是想做长任务 服务端下的 长久自运行 定时任务
freeup
2022-04-14 11:52:37 +08:00
@nyfwan123 嗯 就是 win 下面的那个软件 很久之前见过的东西 但是一直没有用过 刚才特意看了下现在支持挺多功能了 比如 云采集 自然语言处理 预制模板等等 不过楼主定位于他些许不一样 适用人群也有差别 不能算完全同质产品
Pythoner666666
2022-04-14 13:52:38 +08:00
我见过这种 一个用 go 写的
nyfwan123
2022-04-14 14:31:28 +08:00
@Pythoner666666 crawlab 是吧

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/846880

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX