一个分布式采集系统问题,请大神解答下

2021-10-21 17:46:34 +08:00
 guch99999
最近在做一个爬虫系统,本地的爬虫端我我做的,包含了几款 app 的登录爬取操作,后台是后端兄弟用 springboot 做的,现在在进行对接,他那边下发任务通过 redis 消息通道,我这边要上报心跳和任务爬取状态,要支持并发。 想问下,我这边客户端怎么做并发操作,就是定时节点心跳上报同时开站爬虫、任务采集状态上报。 难道用进程和线程吗? python 这边有没有比较好的异步处理方案或者工具
1627 次点击
所在节点    Python
1 条回复
Livid
2021-10-24 03:24:06 +08:00

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/809595

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX