RQ kafka 都太大了,有没有轻量一点的管道啊

2018-11-24 23:12:39 +08:00
 jakeyfly

就是一个爬虫用,抓了数据进管道,然后另一端清洗归类存 SQL。 但抓的东西会分类,有没有可以分类,可以像 KAFKA 那样搞好几个主题分类,不同的数据进不同的管道,另一端也是不同的处理类模块接收处理?

其实 kafka 看上去极好,就是这种要单独运行一个服务的东西,真的不喜欢,又不是多大的项目,没必要啊。

2036 次点击
所在节点    问与答
8 条回复
feverzsj
2018-11-24 23:23:52 +08:00
你建个表做消息队列不就好了
fsneak
2018-11-24 23:28:41 +08:00
用 Redis 的 channel,够轻量吧
ericls
2018-11-24 23:32:53 +08:00
Elixir/Erlang 自带的消息?
julyclyde
2018-11-25 08:45:34 +08:00
抗拒“独立运行一个服务”
试试 zeromq ?
CodeCore
2018-11-25 12:06:29 +08:00
NSQ,NATS,推荐用有赞自己 Fork 的 NSQ。。。
CodeCore
2018-11-25 12:07:27 +08:00
@CodeCore 都是 Go 写的,很轻量。。。性能屌。NATS 更屌。。。
endoffight
2018-11-25 12:31:09 +08:00
beanstalk
BingoXuan
2018-11-25 20:04:57 +08:00
zmq ?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/511200

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX