yanzixuan
V2EX  ›  Java

求问有 kafka 的监控工具么?

  •  
  •   yanzixuan · Sep 13, 2017 · 6400 views
  •   You need to sign in to view this topic
    This topic created in 3339 days ago, the information mentioned may be changed or developed.

    现在利用 kafka 来分发数据给不同的部门。

    但是需要统计给不同部门分发的多少 BYTE 的数据。

    条数我还能根据 cgroup 的 offset 来统计。

    但是数据量大小就没啥思路了。

    不知道有没有现成的工具没有。

    9 replies  •  2017-09-18 00:05:01 +08:00
    gqlxj1987
    gqlxj1987
    Sep 13, 2017❤️1
    1
    kafka-manager
    reAsOn
    reAsOn
    Sep 13, 2017❤️1
    2
    jmx 里面啥都有
    ayiis
    ayiis
    Sep 13, 2017❤️1
    3
    同 1 楼,km 用了近两年,总体满意
    h3nng
    h3nng
    Sep 13, 2017
    4
    哈哈,我们自己做了一个,比目前开源的工具都好太多(不过开源的也少),不过我们暂时没开源。。数据量 KAFKA 自身是有统计的,可以参考 2 楼说的 JMX,官网有 JMX 的各种 Bean
    yanzixuan
    yanzixuan
    OP
    Sep 13, 2017
    5
    @h3nng 目前自己写了个脚本。从 ZOOKEEPER 里面获取 cgroup 每个小时消费的数据然后丢 elasticsearch。
    然后用 kibana 展示。目前先这么凑合着用了。。
    AntonChen
    AntonChen
    Sep 13, 2017❤️1
    6
    https://github.com/antonchen/KafkaOffsetMonitor

    可以查看消费情况的状态页
    ayiis
    ayiis
    Sep 13, 2017
    7
    @AntonChen 这个我们以前用过,不稳定而且最高才支持到 0.9.0
    AntonChen
    AntonChen
    Sep 13, 2017
    8
    @ayiis 我们现在线上就是 0.9.0.1 没毛病
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3195 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 04:27 · PVG 12:27 · LAX 20:27 · JFK 23:27
    ♥ Do have faith in what you're doing.