GitHub

基于电商主题数据搭建的flink on yarn的实时数仓，flink 作业提交模式为per join，包含Ods、Dim、Dwd、Dws层。数据源包括行为日志数据以及业务数据。最终实现Dws层交易域、流量区域、用户区的轻度汇总表并将Dws层数据写入Clichouse中。

设计组件：Flink1.13.0、Hbase、Clickhouse、Redis、HDFS、Yarn、Kafka、Flume、Maxwell、Zookeeper、Docker

Ods-To-Dim：将业务数据库中的维表以及维表数据写入到Hbase中。使用flinkCDC+双流(广播流+主流)实现动态增加维表插入HBase的功能。

详见：Ods-To-Dim任务Readme

Ods-To-Dwd：将Ods层的用户行为数据以及业务数据经过脏数据去除、主题数据过滤等操作写入到对应主题的kafka中。

详见：Ods-To-Dwd行为数据Readme 、 Ods-To-Dwd业务数据Readme

Dwd-To-Dws：用户域：用户登录数以及7日用户回流数、用户注册数。流量域：首页以及商品详情页独立访客数、关键词搜索数。交易域：加购物数汇总表、支付窗口汇总表、下单窗口汇总表、spu粒度下单汇总表、省份粒度下单汇总表。

详见：Dwd-To-Dws轻度汇总Readme

项目流程见下图

整个实验环境基于学校服务器内网搭建，使用Docker部署rtgMaster、rtgSlave1、rtgSlave2三个容器模拟实验环境。

校内服务访问：

服务器配置：

rtgMaster、rtgSlave1、rtgSlave2节点服务分布如下表所示。

conf目录下