我在数据中台建设和落地的一些经验总结

软件工程师罗小东，多年平台架构设计和落地经验，这里从智慧型项目、数字化项目进行数据治理建设的一些经验总结。

针对于中小型团队和当前接触到的大部分项目来说，很少有非常大的数据治理需求，特别是互联网型的PB级数据。在大部分情况下，数据量在TB级或亿级级别较多。相对于PPT级别的方法论，会更加注重于实际运用，为了应对这些场景，在以下几个方面进行了考虑和优化：

是否真的需要建立一个Hadoop体系的数据仓库

针对于中小型客户数据治理需求怎么建设

怎么样针对当前的项目进行数据资源管理

后期的数据治理和各个数据治理维护怎么做

在真正理解项目需求、精细化管理以及灵活选择数据治理工具和技术的基础上，能够更好地应对不同场景下的数据治理需求。不同项目不同架构，我有我思。

许多客户都有数字化建设的需求，但不同的场景需要使用不同的技术方案，在具体的建设过程中，整理的一些思路：

首先要充分了解客户的业务场景和需求，从而选择最适合的技术方案。

在建设过程中，要注重数据质量和服务，以确保数据的准确性和能力体现。

合理规划数据治理流程，包括数据采集、清洗、转换、存储等环节，并通过数据可视化手段展示数据治理效果，提高数据治理成效。

对于不同的项目规模和预算成本，选择不同方案，优化算法和调整计算引擎，减少资源和成本。

针对不同的客户场景，规划合理的数据治理流程。

针对于不同的场景，对于数据治理，需要根据具体场景来选择合__适的方案

目前在搭建数据治理平台时，开始我们使用的是CDH做为数据仓库底座，通常使用Hadoop体系的数据仓库平台，并按照ODS/DWD/ADS等层级进行划分，通过Kettle/Filebeat/Sqoop等方式抽取数据进行离线计算，使用Hive做为数据仓库，我们的工程师在这块上也有多年的治理经验，计算引擎使用的偏向于Spark，数据建模和维护也是按通用的数据标准处理，这个有前期多个项目里面基本上都是，有一些项目会运行在K8S上。

这个过程消耗的资源较多，而且计算引擎和计算过程比较统一，特别是Spark计算的时候，消耗大量的内存资源。而对于一般中小型项目，或者一般的客户来说，这个资源的建设会成本过高，特别是在数据治理这块并不是要求特别高的时候。

一些客户可能并不理解数据治理的成本和价值，除了政务型项目或不缺费用的项目，很难落地，没有达到预期的数据运营效果。

比如一个智慧社区项目，在这块上的数据仓库主要存储的数据在几个方面，用户行为、IOT数据采集、还有视频流数据的存储（只存储主键祯数据）,另外就是一些业务系统的数据采集存储，针对于以上数据的分析，与AI结合，提供出API服务能力，在这些数据中，超过一定生命周期的会做清理，最后评估出来10年左右180T存储，而这个过程中，大部分是冷数据。

最后建设使用的方案是云厂家的一体机来进行管理，但是这个成本是极高的，类似于这样的数据场景，遇到的比较多，最后在考虑一个问题，是否需要这么重的数据仓库。

建立一个轻量级的数据场景，以更好地满足不同项目的需求。建设轻量级数据治理平台

建设轻量级数据治理平台，是优化数据管理和维护成本的方法之一。目前大数据套件较多，学习成本较高，对中小型团队而言，这一成本占比较大。因此，需要采取有效措施降低人员培训成本和管理维护成本。

将多个工具整合为轻量级数据中台，使用minio分布式存储、Clickhouse数据仓库、kettle抽取工具和kafka数据总线等技术统一数据治理，适配各类规模的企业需求。在数据清理和转换后，将数据存储到ODS层，非结构化和半结构化数据存储在分布式存储和ES中，并根据生命周期规划定期清理不必要的数据，只保留有价值的数据和流程相关数据。

此外，针对人员培训，设计系统化的培训课程和多种灵活的培训方式，以提高员工的数据管理和分析能力。对于团队管理和维护，可以建立数据治理的文化氛围，鼓励全员参与，同时引入自动化工具和脚本，减少人工操作和管理成本。

通过以上措施，项目可以建设出高效、灵活的数据治理平台，降低人员培训和管理成本，提高数据治理能力和业务价值体现 ，实现项目的业务需求和决策目标。

建设通用的数据治理能力组件和平台组件，以便根据具体项目需求进行选择和组合，实现对数据资源的有效管理。

针对当前的项目进行数据资源管理，可以建设一套通用的数据治理能力组件和平台组件。这些组件可用于多种场景下的数据治理工作，如：

数据上报服务：供政务、个人、单位等通用型用户使用的通用数据采集上报平台，支持非技术型人员和部门进行数据入仓。

数据总线服务：连接数据平台中不同组件和子系统的核心组件，实现数据的快速传输和交换，并统一集成数据主题管理。

主数据管理服务：帮助企业确保数据质量、提高业务流程效率，并为数据分析和决策提供支持，促进企业内部数据的标准化、管理和共享。

数据集成服务：提供在线设置ETL作业、转换任务的定时运行策略，监控任务的执行情况，查看任务执行日志的功能，强有力地支撑后续的数据开发、数据挖掘。

数据开发服务：向数据开发工程师提供拖拉拽控件的方式，设计复杂的工作流有向无环图，挖掘出有商业价值的数据。

数据安全网关：提供数据交换、数据共享、数据开放的平台，包含网关接口安全、接口权限认证、黑名单管理、Oauth2接口认证等功能，向组织内各个部门提供支持。

这些数据治理能力组件和平台组件可根据具体项目需求进行选择和组合，实现对数据资源的有效管理，我们采用灵活的数据治理方案，根据项目大小和需求，选择相应的数据治理工具和技术。

在提供工具的同时，针对于业务的个性化要求和业务开发需求，比如报表、大屏、还有数据服务使用等，当前是让ISV团队进行处理，而这个过程由中台团队提供技术支持和培训，而数据治理套件不对客户。

建立一套完善的数据治理流程和规范，包括数据质量控制、数据安全保护、数据持续更新等方面的要求

实现数据治理和各个数据治理维护的目标，包括数据流程标准化、人员技术培训、数据指标采集等。在实际应用过程中，需要根据企业的具体需求和情况，适当调整和优化数据治理策略，以提高数据质量和效率，为项目的发展提供有力支撑。

数据流程标准化：通过数据总线服务连接数据平台中的不同组件和子系统，以便实现数据的快速传输和交换，并统一集成数据主题管理。建立标准化的数据流程，包括数据采集、清洗、存储、转换等环节，并确保每个环节都符合相关标准和规范。

人员技术培训：利用主数据管理服务对企业内部数据进行标准化、管理和共享，确保数据质量和提高业务流程效率。同时，为各个层次的员工提供有针对性、系统化的培训课程，提高他们的数据管理和分析能力。

数据指标采集：使用数据集成服务在线设置ETL作业和转换任务的定时运行策略，监控任务的执行情况和查看任务执行日志的功能。确保多种数据格式和来源的数据经过清洗、转换后能够及时有效地送达组织的数据仓库，并为后续的数据开发和挖掘提供支持。

数据治理目标达成：使用数据开发服务向数据开发工程师提供拖拉拽式的控件，设计复杂的工作流图，挖掘出有商业价值的数据，帮助企业实现对数据的全面管控和治理。同时，使用数据安全网关进行数据交换、共享和开放的管理，确保数据的安全性和防止潜在的风险。

同时实现对数据的全面管控和治理，确保数据的质量和安全，提高数据开发和分析的效率和准确性，从而更好地支撑企业的业务需求和决策，提供出数据服务和治理。

数据治理是数字化建设中非常重要的一环。在进行数据治理时，我们需要根据不同的业务场景和需求，选择最适合的数据治理方案，包括选择不同的组件组装和数据存储方式等。对于轻量级数据管理平台和重量级数据管理平台，我们可以针对具体情况进行选择，权衡成本与效益，以满足客户实际需求。在整个数据治理过程中，我们还需要注重客户成本的管理，确保项目的落地和实际效果，并且不断优化数据治理流程，需要积极参与业务需求分析和技术选型，确保数据治理方案符合客户需求和行业标准。

过程考虑不同的场景选择不同的数据治理方案和组件组装，根据实际情况选择轻量级或重量级数据中台，注重客户成本管理和实际效果，以满足客户需求并推动数字中台建设。

以上为在大中小型项目中的数据治理经验输出，提供一些参考。