链接: https://pan.baidu.com/s/1IU6EaRiXoP7ibBxo_N1ttA 提取码: 35x4

这个数据仓库是某电商运营支撑平台的一部分，用户使用浏览器(PC 端)和 app 对该平台进行访问，记录用户的注册信息，通过调研平台和数据挖掘记录用 户的扩展信息，业务系统对用户的每次点击和下单信息记录到数据库中，并提供 一台从库将主库的业务数据实时同步到从库中，同时分配对从库的只读访问权限， 运营分析平台通过 Sqoop 将数据抽取到运营分析平台，运营分析平台进行指标 的计算，将结果存入到 MySQL 中，将结果展示到报表。

通过对业务数据的分析，获得用户主题和订单主题的相关分析情况，生成用 户的访问模型和用户的订单行为模型，对访问时段和下单区域分布进行分析和报 表展示。

**数据源：**本项目主要数据来源为用户在网站和 APP 的访问行为数据，业务系 统将数据存储到 MySQL 中，供多个部门使用。（该部分未在提供代码中实现）

**数据导入部分：**根据数据特性的不同，处理方式也不一样，对于一些已经对 历史数据进行更改的我们采取全量导入，例如 user 表；对于一些不会对历史数 据进行更改的我们采取增量导入，例如 order 表。（该部分为项目提供的代码数 据加载部分）

**数据仓库分析部分：**我们需要根据业务需求建立相应的主题，并将对数据进 行建模（即建表），通过对建立的模型进行分析，分析出用户的访问时间以及用 户的订单分布两个需求

**可视化展示：**最终将分析的结果用于前端展示或后端留存（该部分未在项目 代码中实现，属于其他项目组负责）。

部分技术栈：MySQL+Sqoop+HDFS+Hive

 MySQL：存储业务数据以及分析结果数据，给前端进行展示

 Sqoop：导入 MySQL 中数据到 HDFS

 HDFS：数据存储

 Hive：用于数据仓库构建以及相关业务分析

用户通过访问 APP 或者网站，通过业务系统对用户的数据进行存储，存储到 MySQL 中。

本例子直接通过sql语句将数据导入到MySQL当中。