phithon
5.05D
V2EX  ›  Node.js

node+redis 订阅并发量太大会不会出问题

  •  
  •   phithon · Jul 24, 2016 · 6270 views
    This topic created in 3760 days ago, the information mentioned may be changed or developed.
    redis 的发布 /订阅+node 接收的时候,因为接收到数据后要执行多个任务(比如执行 http 请求、存取数据库),导致发布订阅的速度大于接收订阅的速度。并发量过大,比如一秒有上百个订阅进入 redis , node 这边会实时全部接收么?
    要不要加个任务队列,接收到订阅后把任务放任务队列里。。但感觉这样是不是有点冗余, redis 的订阅实际上就已经类似于一个任务队列了?
    7 replies  •  2016-08-17 11:38:12 +08:00
    Mirana
    Mirana
    Jul 24, 2016❤️1
    1
    redis pubsub 是没有持久化的队列,短时间内请求多问题不大,如果并发一直很大 可以考虑在中间加个 kafka 这种带持久化的队列。
    wander2008
    wander2008
    Jul 25, 2016 via iPhone
    2
    redis 是单线程的
    fatpa
    fatpa
    Jul 25, 2016❤️1
    3
    sub 是一个个 listen 的,所以 node 处理慢了就会导致 redis 消息队列堆积,内存占用过多

    BTW ,@wander2008 说的单线程跟这事情并没啥关系
    wander2008
    wander2008
    Jul 25, 2016 via iPhone
    4
    @fatpa …。别这么急着下结论哦。只是说明咱思考不是在一个层次。
    phithon
    phithon
    OP
    Jul 25, 2016
    5
    @fatpa 对,就是你这个意思。。解决方法就是按 @Mirana 的方法做,换持久化的队列?
    Mirana
    Mirana
    Aug 1, 2016
    6
    @phithon 短期的高并发可以这么搞,一直这么高的话是消费者的消费速度跟不上,磁盘很快就被写满了。
    这种情况下可以考虑增加消费者,比如起多个实例增加系统的吞吐。
    fatpa
    fatpa
    Aug 17, 2016
    7
    @wander2008 那你思考的层面是?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1848 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 97ms · UTC 15:46 · PVG 23:46 · LAX 07:46 · JFK 10:46
    ♥ Do have faith in what you're doing.