Centos7安装配置【kafka】【kafka

2023-10-19 03:26| 来源: 网络整理| 查看: 265

Background kafka-manager（目前已更名为CMAK）是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。我们这里一切从头开始安装。此次jdk版本选用【jdk1.8.0_301】；JDK8官网下载地址。此次Kafka的版本选用【kafka_2.12-2.4.1】；kafka官网下载地址。Kafka-Manager的版本选用【kafka-manager-1.3.3.4】；kafka-manager官网下载地址。这里给出安装包，安装包是修改过的，并给有启动脚本，可直接使用，也可以从官网下载，需自行修改编译；【jdk-kafka-manager安装包】【提取码：king】下面所有命令可以直接复制在shell执行即可。 1、安装JDK8

这个根据Kafka和Kafka-Manager的版本确定，最新的CMAK 3.x版本是需要安装JDK11的，其实我试了cmak新版的，界面还不如老版的呢，眼（丑）前（的）一（一）亮（匹）哈，我感觉是，所以这里使用的是老版的。

解压到指定位置 tar zxf jdk1.8.0_301.tgz -C /opt/ 配置环境变量 env='PATH=$PATH:$JAVA_HOME/bin' cat /etc/profile # jdk export JAVA_HOME=/opt/jdk1.8.0_301 export $env EOF source /etc/profile 验证配置，打印出jdk版本算是配置没问题 # 查看jdk版本号 java -version # 查看Java进程 jps 2、安装Kafka

先修改配置文件再使用脚本启动zookeeper和Kafka。

解压到指定位置 tar zxf kafka_2.12-2.4.1.tgz -C /opt/ 添加Zookeeper启动脚本start-zookeeper.sh #!/bin/bash # Kafka安装目录 dir_home=/opt/kafka_2.12-2.4.1/ rm -rf $dir_home/start-zookeeper.log nohup $dir_home/bin/zookeeper-server-start.sh $dir_home/config/zookeeper.properties >> $dir_home/start-zookeeper.log 2>&1 & 添加Kafka启动脚本start-kafka.sh #!/bin/bash # Kafka安装目录 dir_home=/opt/kafka_2.12-2.4.1/ rm -rf $dir_home/start-kafka.log nohup $dir_home/bin/kafka-server-start.sh $dir_home/config/server.properties >> $dir_home/start-kafka.log 2>&1 & 修改Kafka的启动脚本 # 在29行后增加一行，配置jmx端口，这样我们就可以看到消息的写入速度 sed -i '29 a \ export JMX_PORT=\"9999\"' /opt/kafka_2.12-2.4.1/bin/kafka-server-start.sh

在这里插入图片描述

修改Kafka的配置文件 # IP替换为Kafka所在主机的IP sed -i '31 a listeners=PLAINTEXT://192.168.110.110:9092' /opt/kafka_2.12-2.4.1/config/server.properties

在这里插入图片描述

使用脚本启动zookeeper和Kafka cd /opt/kafka_2.12-2.4.1 # 启动Zookeeper ./bin/start-zookeeper.sh # 查看日志是否正常 tail -f start-zookeeper.log # 启动Kafka ./bin/start-kafka.sh # 查看日志是否正常 tail -f start-kafka.log 正常情况可以看到这两个进程 QuorumPeerMain 和 Kafka 在这里插入图片描述

3、安装Kafka-Manager 解压到指定位置 tar zxf kafka-manager-1.3.3.4.tgz -C /opt/ 修改配置文件 # 把24行替换掉，即把IP替换为zookeeper所在主机的IP sed -i '24c kafka-manager.zkhosts=\"192.168.110.110:2181\"' /opt/kafka-manager-1.3.3.4/conf/application.conf

在这里插入图片描述

添加启动脚本 start-kafkaManager.sh #!/bin/bash # kafka-manager的安装目录 dir_home=/opt/kafka-manager-1.3.3.4 rm -rf $dir_home/{RUNNING_PID,start-kafkaManager.log} # 指定了web访问端口为8888 nohup $dir_home/bin/kafka-manager -Dconfig.file=$dir_home/conf/application.conf -Dhttp.port=8888 >> $dir_home/start-kafkaManager.log 2>&1 & 使用脚本启动Kafka-Manager cd /opt/kafka-manager-1.3.3.4 # 启动kafka-manager ./bin/start-kafkaManager.sh # 查看日志是否正常 tail -f start-kafkaManager.log 启动正常可以看到进程ProdServerStart 在这里插入图片描述

然后就可以浏览器访问web界面：192.168.110.110:8888【IP是Kafka-Manager所在的主机IP】在这里插入图片描述

如果需要配置用户名密码，请修改下面三行，到时浏览器访问就会需要先登录了

在这里插入图片描述

4、添加Kafka集群步骤

add cluster 在这里插入图片描述

配置集群信息在这里插入图片描述

其他默认即可，保存在这里插入图片描述

查看添加的集群在这里插入图片描述

最后贴上新版cmak的界面对比下哈在这里插入图片描述

3、异常处理异常1：kafka.common.InconsistentClusterIdException: The Cluster ID A-zJpnDISZiGYah5OoLSHQ doesn’t match stored clusterId解决方法：1.从Kafka的配置文件server.properties中获取配置的log.dirs；2.然后去该目录下把meta.properties文件中的cluster.id修改成异常信息中给的 Cluster ID

【本文地址】

公司简介

联系我们