Kafka监控必备

2023-05-06 07:05| 来源: 网络整理| 查看: 265

对于经常使用Kafka的同学，拥有一个炫酷又实用的监控系统是非常有必要的。可以实时的监控数据流的情况，了解实时数据流的变化。

Kafka Eagle

Kafka Eagle是一个监控系统，监控Kafka群集以及偏移量，消费者等等。

通过Kafka Eagle可以看到当前的消费者组，对于每个组，他们正在使用的主题以及该组在每个主题中的偏移量，消费积压等等。这对于了解消息队列消费的速度以及消息队列消息写入的速度非常的有用。可以帮助我们调试Kafka生产者和消费者，也可以对Kafka系统的整体运作情况有一个宏观的认识。

支持的Kafka版本：0.8.2.x，0.9.x，0.10.x，0.11.x，1.x，2.x

支持的系统：Mac OS X，Linux，Windows

JDK： JDK8+

自从Kafka Eagle开源以来，也得到了迅速的发展，目前GitHub的Star已经突破1.5K

下面我们来了解一下Kafka Eagle的核心功能。

功能展示大屏支持

炫酷的大屏展示，生产者消费者情况，消息积压情况。

报警支持

自定义报警阈值，触发报警

报警消息情况

除了支持email警报外，Kafka Eagle还支持即时消息警报，例如DingDing和WeChat。

消费者组列表和活动图

消费者组的情况

主题列表明细

每个主题的具体情况

消费者与生产者图表

特色功能

偏移量

Kafka的偏移量存储位置发生过变化，这一直是监控的一大难题。

Kafka0.8.2之前的版本，偏移量存储于Zookeeper中。0.10.0以后的Kafka版本默认建议在Kafka主题（__consumer_offsets）中。

这两种Kafka Eagle都支持，Kafka Eagle支持多个偏移量存储路径。如果将它们存储在Zookeeper和Kafka中，则可以像这样配置它们。

# Set kafka cluster alias kafka.eagle.zk.cluster.alias=cluster1,cluster2 # Set kafka cluster zookeeper address cluster1.zk.list=xdn1:2181,xdn2:2181,xdn3:2181 cluster2.zk.list=tdn1:2181,tdn2:2181,tdn3:2181 # Set kafka cluster offset storage path cluster1.kafka.eagle.offset.storage=kafka cluster2.kafka.eagle.offset.storage=zookeeper

Kafka SQL

可以使用SQL语法查询Kafka消息

select * from ke_p3_r2 where `partition` in (0,1,2) limit 10

【本文地址】

公司简介

联系我们