V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
jugelizi
V2EX  ›  Java

几万条数据批量写入消息队列哪种支持好

  •  
  •   jugelizi · 313 天前 · 3672 次点击
    这是一个创建于 313 天前的主题,其中的信息可能已经有所发展或是发生改变。

    一次性发送短信 写到消息队列一条条发送 那么写入时一条条写进去 用哪种消息队列合适啊

    22 条回复    2020-04-20 19:16:15 +08:00
    areless
        1
    areless   313 天前 via Android
    我用 redis 或者共享内存加外部脚本,在 nginx 形成一个漏桶模型写入负载~~~因为我不相信会持续几万条。分摊到时间也就几分钟
    kuafou
        2
    kuafou   313 天前
    丢 kafka 里没有任何压力
    rockyou12
        3
    rockyou12   313 天前   ❤️ 1
    才几万条……扔 kafka 它感觉都没有
    hncqp
        4
    hncqp   313 天前 via iPhone
    kafka
    misaka19000
        5
    misaka19000   313 天前
    redis or kafka
    Mmiracle110
        6
    Mmiracle110   313 天前
    kafka rocketmq 都行吧
    watzds
        7
    watzds   313 天前 via Android
    这么点哪种会有压力啊
    niubee1
        8
    niubee1   313 天前
    这个 tinny 级别的数据量, 随便啥都能行
    billlee
        9
    billlee   313 天前
    几万条批量写入用 mysql 存都没有压力(当然不推荐这样搞)
    cominghome
        10
    cominghome   313 天前
    楼主这个问题其实可以引申为“不要过早优化”。因为大部分被关注的框架、中间件性能方面都不会有很严重的问题,你只需要考虑易用和后续支持就可以了。几万条的数据给 rocketmq 这种 warm up 可能都做不到(当然,我不知道 rocketmq 有没有 warm up 这个过程)
    wangyzj
        11
    wangyzj   313 天前
    任何都行
    L1shen
        12
    L1shen   313 天前
    rabbitmq
    binbinyouliiii
        13
    binbinyouliiii   313 天前 via Android   ❤️ 3
    kafka:"开始了吗?" 程序:"已经结束了"
    hspeed18
        14
    hspeed18   313 天前
    搞笑,几万条有个鸡儿的压力
    xcstream
        15
    xcstream   313 天前
    放在数组里 循环吧(滑稽)
    Lonely
        16
    Lonely   313 天前 via iPhone
    市面上常用的随便一款都行吧
    zxlzy
        17
    zxlzy   313 天前 via Android
    才几万条数据,你随便哪个都行啊。
    RedBeanIce
        18
    RedBeanIce   313 天前
    @binbinyouliiii 原谅我笑了
    Aresxue
        19
    Aresxue   313 天前
    才几万条。。。别引入中间件了,直接用个线程池得了
    feelinglucky
        20
    feelinglucky   312 天前
    数据库不大,我估计楼主是对可靠性的诉求更多一点吧?
    raysonlu
        21
    raysonlu   312 天前
    你是担心大量写进去导致崩溃还是什么?分享一个案例,几万条数据写入 redis 队列,写入请求一下子就完成没问题,但即时查询队列时,部分数据依然查不到,等个一两分钟就好了,疑似 redis 接收了请求和再一一写入。
    jugelizi
        22
    jugelizi   312 天前 via iPhone
    @raysonlu 我就是想 redis 有个管道可以批量写入 其他的队列没找到
    关于   ·   帮助文档   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2657 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 17ms · UTC 02:53 · PVG 10:53 · LAX 18:53 · JFK 21:53
    ♥ Do have faith in what you're doing.