大数据项目组人员配置

平台组 数据组 运维组 ETL 工程师：对数据进行挖掘、收集、处理 BI 工程师：对业务需求进行计算 报表开发工程师：对数据库的数据，进行可视化界面的开发 数据库工程师：对数据库本身进行配置和操作 大数据平台的架构/数仓架构： 1.数据源系统： 核心系统、客户系统、财务系统、人力资源系统、结算系统、销售系统、第三 方系统数据、人工的补录数据、埋点数据、日志信息等等。 结构化数据：数据库中的数据、csv 表格、excel 表格 半结构数据：json xml {‘username’:‘lilei’,‘age’:18,‘sex’:‘男’} lilei 18 男 非结构数据：图片 视频 音乐

主题库有哪些？ 客户主题：保存的就是所有的客户的信息 参与者主题：商家和客户的所有的信息 协议主题：保存的所有的协议和合同的内容 事件主题：任何的资金的流动，都是一次事件，保存所有的资金的流动绩效主题：保存所有销售人员和销售团队的信息 财务主题：保存的是公司里面每一个部门的财务状况和信息 公共主题：汇率、利息比率、币种转换率、日期等… 产品主题：理财产品、借贷产品的所有信息

一个大数据的组：数据开发的人数 5-10 产品经理 业务人员 数据开发 软件测试工作的流程： 业务人员：收集客户需求，确定客户需要什么内容（指标详情文档） 产品人员：对接业务和技术，会将业务收集的需求，转换成技术可以看得懂、 能够实际操作的文档（需求规格说明书） 召开需求评审会议：产品人员主持、业务、开发、测试参与，讨论每个需求的 可实现性、以及每个需求的实现时间 编写开发设计文档 编写 sql 语句（代码走读），编写调度设计的文档 进行开发的自测（验证是否能够跑通、数据是否正确、数据是否一致） 上传写好的代码（SVN git） 软件测试进行 sql 脚本的测试：写 bug 单 进行准生产环境的最后一次验证 版本更新上线（每个公司都有确定的时间点）（版本的敏捷迭代更新） 最后进行一次线上的数据验证 整理数据字典的 excel 文档 在工作中有几套环境： 本地环境 开发环境 测试环境 预发布环境（准生产环境，和线上的环境一模一样的环境） 生产环境（正式环境）ETL 的数据处理： E：extract T：transform L：load：删除所有的索引；加载数据到数据库表格；恢复索引以及清空临时表 完全刷新：全量更新，先使用 truncate 清空数据表，然后重新导入所有的数 据，一般全量更新都是在 DM 和 DA 里面。 事件增量：增量更新，通过时间字段将新增数据抽取出来加载到数据库中，一 般是 ODS 和 DW 的表格比较多。 镜像增量和镜像对比：镜像更新，是使用两个表的一个列或者是多个列进行数 据的对比，如果这些列的数据一致，对其他的字段进行数据的更新，如果这些 列的数据不一致，那么就进行数据的新增。一般用来处理历史数据。