【精选】最新版Flink1.14.0集群超详细部署及测试 | 您所在的位置:网站首页 › flink依赖hadoop吗 › 【精选】最新版Flink1.14.0集群超详细部署及测试 |
Flink在9月份发布了最新版Flink1.14.0,新版本中 Flink 一个主要变化是集成的流媒体和批处理体验,此外,在 SQL API、更多连接器支持、检查点和 PyFlink 等方面也带来了许多新功能和改进。
更多详细内容,点击1.14.0 发布公告 GitHub 地址:https://github.com/apache/flink 参考链接:Apache Flink: Apache Flink 1.14.0 Release Announcement 正好我的Flink环境需要重新配置,那我就把最新的1.14安排上,具体介绍下怎么配置。 一、系统环境主机名 系统 内存 磁盘 ss3(主节点) Centos7.6 4G 50G ss4 Centos7.6 4G 50G ss5 Centos7.6 2G 50G 大数据基础环境就不必说了,ssh免密,时间同步,hosts配置,scala环境,最基本的hdfs肯定要有的,具体操作可以参考我另一篇博文 https://blog.csdn.net/suwei825/article/details/120761437 下载:https://flink.apache.org/downloads.html 将以上修改的3个配置文件同步到ss4,ss5两个从节点 scp flink-conf.yaml root@ss4:/software/flink-1.14.0/conf/ scp masters root@ss4:/software/flink-1.14.0/conf/ scp workers root@ss4:/software/flink-1.14.0/conf/ 2.4、启动在master启动即可,另外两台无需操作: [root@ss3 flink-1.14.0]# ./bin/start-cluster.sh 访问web管理端查看启动情况 测试的话当然还是大数据的经典案例wordcount了 3.1安装nc yum install -y nc我们刷新web管理端,可以看到启动了一个job out文件更新后,控制台中会自动显示新增的数据 3.5 输入测试数据我们回到控制台1窗口,输入语句,在控制台3中查看统计结果,如下图所示 我们在一行语句中输入重复单词 可以看到flink被统计了2次 Job运行详情 总结 感谢能看到这里的朋友😉 本次的分享就到这里,猫头鹰数据致力于为大家分享技术干货😎 如果以上过程中出现了任何的纰漏错误,烦请大佬们指正😅 受益的朋友或对技术感兴趣的伙伴记得点赞关注支持一波🙏 也可以扫描二维码或搜索关注我的微信公众号【猫头鹰数据分析】,留言交流🙏 |
CopyRight 2018-2019 实验室设备网 版权所有 |