RabbitMQ 消费存储到 Mysql 的速度?

2019-08-13 10:36:00 +08:00
 ARhen
项目基础 :Springboot+MQ+Druid+Mysql

因为需要从 api 获取到 1kw 左右的数据,现在的做法是 api->mq->mysql。

存的数据基本是些文章数据,因此我还把 titile、content 单独放了张表

消费那边我开线程,发现手动 ack 速度稳定在 200~300

不知道这个速度是否正常,还是很低?有大佬能提下建议或者看法嘛?
1574 次点击
所在节点    问与答
2 条回复
1ffree
2019-08-13 11:32:41 +08:00
单机消费 300 不少了,瓶颈就在消费端吧
首先确保数据写已经优化好,然后扩消费端机器&线程, 再后面就是数据库性能了
ARhen
2019-08-13 12:08:02 +08:00
@1ffree 嗯,程序放在服务器上跑了,基本上在这个速度。
开了一个线程池,线程池最大容纳线程刚好和最大预取数一致,也就是 50
之前测试过,开多个程序感觉 ack 速度提不上来,没有明显的 1+1 的效果
不知道是不是 mysql 那边的问题了。


还有就是有个奇怪的地方,多台消费端的话,如何友好的处理这些消费端? 消费端一直开着嘛?后期队列有一条就会被拿走?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/591414

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX