数据仓库工程师岗位职责

我个人理解，数据仓库就如普通仓库一样，集中管理，分类摆放，按需取用。数据多来源进入（各个业务系统的运行数据接受进来），分好类别，打好标签，做好记录（元数据管理），放到对应的货架上（ETL 加工摆放到对应的主题下），等需要的时候通过记录去到货架拿取所需货物（分析查询取用）。不同规模的仓库建设和管理的办法也不同。仓库小的时候，把东西全部收起来一堆堆堆好就行（历史保存），后边原来越多堆不下了，就按简单类别装上货架（主题抽取），货架太多不好找就把常用的单独再放到一起（数据集市），有些使用频率非常高的就要拿来单独放（实时查询），还有些要抽样出来研究一下（数据挖掘与机器学习）。在这些升级的时候，有些货架可以直接买市场上现成的（平台工具）有些货架比较特别就需要自己制作（自主研发）。但最终都是想要可以让整个仓库可以更方便的管理和更快速的查到想要的货物。