KAFKA监控方法以及核心指标

2024-07-09 17:20| 来源: 网络整理| 查看: 265

文章目录 1. 监控指标采集1.1 部署kafka_exporter1.2 prometheus采集kafka_exporter的暴露指标1.3 promethues配置告警规则或者配置grafana大盘 2. 核心告警指标2.1 broker核心指标2.2 producer核心指标2.3 consumer核心指标 3. 参考文章

探讨kafka的监控数据采集方式以及需要关注的核心指标，便于日常生产进行监控和巡检。

1. 监控指标采集

监控指标的采集方式使用promethues + kafka_exporter的方式采集kafka的指标，并通过promethues协议暴露出来。本文探讨kafka的采集监控方式，以及常用核心监控告警配置。

1.1 部署kafka_exporter

kafka_exporter的下载地址选择合适的版本下载，并解压，使用如下方法启动。

./kafka_exporter --kafka.server=127.0.0.1:9092 --web.listen-address=":9308"

确定metrics指标暴露出来后，就可以通过prometheus配置target进行指标采集

# 通过promethues协议暴露指标 curl http://localhost:9308/metrics

在这里插入图片描述

1.2 prometheus采集kafka_exporter的暴露指标

配置prometheus的指标采集任务

- job_name: kafka static_configs: - targets: ['172.19.0.2:9308','172.19.0.3:9308','172.19.0.4:9308'] labels: instance: kafka

在这里插入图片描述

1.3 promethues配置告警规则或者配置grafana大盘

再次不进行扩展。

2. 核心告警指标

kafka的指标很多，相关的指标含义可以参考官网文档，本文将摘选出核心的指标，作为kafka集群的核心监控并配置相关的告警。

2.1 broker核心指标

Kafka的服务端度量指标是为了监控broker，也是整个消息系统的核心。因为所有消息都通过kafka broker传递，然后被消费，所以对于broker集群上出现的问题的监控和告警就尤为重要。broker性能指标有以下三类：

Kafka本身的指标主机层面的指标JVM垃圾回收指标

kafka层面指标

指标名称指标说明参考值备注进程进程进程存在 == 1UnderReplicatedPartitions处于复制状态的parition=1controller的职责是维护partition leader的列表，当遇到这个值等于0且持续了一小段时间（

【本文地址】

公司简介

联系我们