V2EX 首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  Java

求问有 kafka 的监控工具么?

  •  
  •   yanzixuan · 66 天前 · 1200 次点击
    这是一个创建于 66 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在利用 kafka 来分发数据给不同的部门。

    但是需要统计给不同部门分发的多少 BYTE 的数据。

    条数我还能根据 cgroup 的 offset 来统计。

    但是数据量大小就没啥思路了。

    不知道有没有现成的工具没有。

    9 回复  |  直到 2017-09-18 00:05:01 +08:00
        1
    gqlxj1987   66 天前   ♥ 1
    kafka-manager
        2
    reAsOn   66 天前   ♥ 1
    jmx 里面啥都有
        3
    ayiis   66 天前   ♥ 1
    同 1 楼,km 用了近两年,总体满意
        4
    h3nng   66 天前
    哈哈,我们自己做了一个,比目前开源的工具都好太多(不过开源的也少),不过我们暂时没开源。。数据量 KAFKA 自身是有统计的,可以参考 2 楼说的 JMX,官网有 JMX 的各种 Bean
        5
    yanzixuan   66 天前
    @h3nng 目前自己写了个脚本。从 ZOOKEEPER 里面获取 cgroup 每个小时消费的数据然后丢 elasticsearch。
    然后用 kibana 展示。目前先这么凑合着用了。。
        6
    AntonChen   66 天前   ♥ 1
    https://github.com/antonchen/KafkaOffsetMonitor

    可以查看消费情况的状态页
        7
    ayiis   66 天前
    @AntonChen 这个我们以前用过,不稳定而且最高才支持到 0.9.0
        8
    AntonChen   66 天前
    @ayiis 我们现在线上就是 0.9.0.1 没毛病
        9
    messense   62 天前   ♥ 1
    DigitalOcean
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   鸣谢   ·   484 人在线   最高记录 3541   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.0 · 57ms · UTC 21:20 · PVG 05:20 · LAX 13:20 · JFK 16:20
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1