teli
V2EX  ›  问与答

大家怎么解决一个 kafka 一个分区只能被一个消费者消费的问题?

  •  
  •   teli · Mar 4, 2023 via Android · 2410 views
    This topic created in 1340 days ago, the information mentioned may be changed or developed.

    因为 kafka 的设计,一个分区只能被一个消费者消费。 日常,可能因为高峰期,为了增加处理能力,增加服务实例,但 kafka 的分区并不容易增加减少。 如果增加了服务实例,新增的实例就没得消费。

    5 replies  •  2023-03-06 09:42:33 +08:00
    Badlink
    Badlink
    Mar 4, 2023
    1
    消费后多线程处理,或者如果消费后处理过程可以拆分的话,也可以用多个消费组进行消费,再分别处理不同任务吧
    rrfeng
    rrfeng
    Mar 4, 2023 via Android
    2
    不能,其实加分区还是很容易的,减分区不容易。
    securityCoding
    securityCoding
    Mar 4, 2023 via Android
    3
    怎么不能调整呢
    hyperdak288
    hyperdak288
    Mar 4, 2023
    4
    基于 kafka 架构的问题,调整分区是比较痛苦的事。

    pulsar 可以比较好解决好问题,分区的调整成本非常低。
    julyclyde
    julyclyde
    Mar 6, 2023
    5
    你这个问法错误
    应该问“怎么解决 kafka 消费者不能增加的问题”
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1552 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 17:45 · PVG 01:45 · LAX 09:45 · JFK 12:45
    ♥ Do have faith in what you're doing.