jugelizi
V2EX  ›  Java

几万条数据批量写入消息队列哪种支持好

  •  
  •   jugelizi · Apr 19, 2020 · 6361 views
    This topic created in 2283 days ago, the information mentioned may be changed or developed.

    一次性发送短信 写到消息队列一条条发送 那么写入时一条条写进去 用哪种消息队列合适啊

    22 replies    2020-04-20 19:16:15 +08:00
    areless
        1
    areless  
       Apr 19, 2020 via Android
    我用 redis 或者共享内存加外部脚本,在 nginx 形成一个漏桶模型写入负载~~~因为我不相信会持续几万条。分摊到时间也就几分钟
    kuafou
        2
    kuafou  
       Apr 19, 2020
    丢 kafka 里没有任何压力
    rockyou12
        3
    rockyou12  
       Apr 19, 2020   ❤️ 1
    才几万条……扔 kafka 它感觉都没有
    hncqp
        4
    hncqp  
       Apr 19, 2020 via iPhone
    kafka
    misaka19000
        5
    misaka19000  
       Apr 19, 2020
    redis or kafka
    Mmiracle110
        6
    Mmiracle110  
       Apr 19, 2020
    kafka rocketmq 都行吧
    watzds
        7
    watzds  
       Apr 19, 2020 via Android
    这么点哪种会有压力啊
    niubee1
        8
    niubee1  
       Apr 19, 2020
    这个 tinny 级别的数据量, 随便啥都能行
    billlee
        9
    billlee  
       Apr 19, 2020
    几万条批量写入用 mysql 存都没有压力(当然不推荐这样搞)
    cominghome
        10
    cominghome  
       Apr 19, 2020
    楼主这个问题其实可以引申为“不要过早优化”。因为大部分被关注的框架、中间件性能方面都不会有很严重的问题,你只需要考虑易用和后续支持就可以了。几万条的数据给 rocketmq 这种 warm up 可能都做不到(当然,我不知道 rocketmq 有没有 warm up 这个过程)
    wangyzj
        11
    wangyzj  
       Apr 19, 2020
    任何都行
    L1shen
        12
    L1shen  
       Apr 19, 2020
    rabbitmq
    binbinyouliiii
        13
    binbinyouliiii  
       Apr 19, 2020 via Android   ❤️ 3
    kafka:"开始了吗?" 程序:"已经结束了"
    hspeed18
        14
    hspeed18  
       Apr 19, 2020
    搞笑,几万条有个鸡儿的压力
    xcstream
        15
    xcstream  
       Apr 19, 2020
    放在数组里 循环吧(滑稽)
    Lonely
        16
    Lonely  
       Apr 19, 2020 via iPhone
    市面上常用的随便一款都行吧
    zxlzy
        17
    zxlzy  
       Apr 19, 2020 via Android
    才几万条数据,你随便哪个都行啊。
    RedBeanIce
        18
    RedBeanIce  
       Apr 19, 2020
    @binbinyouliiii 原谅我笑了
    Aresxue
        19
    Aresxue  
       Apr 19, 2020
    才几万条。。。别引入中间件了,直接用个线程池得了
    feelinglucky
        20
    feelinglucky  
       Apr 20, 2020
    数据库不大,我估计楼主是对可靠性的诉求更多一点吧?
    raysonlu
        21
    raysonlu  
       Apr 20, 2020
    你是担心大量写进去导致崩溃还是什么?分享一个案例,几万条数据写入 redis 队列,写入请求一下子就完成没问题,但即时查询队列时,部分数据依然查不到,等个一两分钟就好了,疑似 redis 接收了请求和再一一写入。
    jugelizi
        22
    jugelizi  
    OP
       Apr 20, 2020 via iPhone
    @raysonlu 我就是想 redis 有个管道可以批量写入 其他的队列没找到
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5065 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 130ms · UTC 01:07 · PVG 09:07 · LAX 18:07 · JFK 21:07
    ♥ Do have faith in what you're doing.