每年节约数亿元大数据成本，阿里巴巴数据中台成本治理怎么做的？

大数据环境下，海量的数据虽然为业务创造了巨大的价值，但是也带来了大量的计算成本和存储成本，甚至会出现“数据成本增速大于业务增速，不可持续发展”、“赚来的每一分钱都用在了买服务器上”等极端情况。

阿里巴巴在发展的道路上也遇到过这些问题：

1、数据资产完全黑盒。面对海量数据资产，没有统一的数据资产地图，不清楚我们有哪些数据资产，也不清楚做这些资产用在什么地方。

2、数据资产成本极高。阿里巴巴集团的数据量级早就到达了EB量级，如此巨大的数据体量，每年的数据存储和计算成本都高达数十亿元。如此巨大的数据体量，通过人工的方式去治理，往往导致资产治理效率低，人工成本高。

3、数据价值链路断层。这么多的数据，最终被那些业务使用，服务了哪些客户，也不够清晰。

为了解决以上问题，阿里巴巴孵化出了自己的数据资产管理平台（属于数据中台的一部分），用于对整个集团数据计算和数据存储进行成本统计和优化，每年可以节约数亿元的数据成本，那么阿里巴巴是怎么做的呢？

为了解决以上三个问题，阿里巴巴采取了下面的措施来更好的实现数据资产的管理：

1、做好数据资产的盘点：包括理解数据资产内容，和构建资产类目两部分。需要理解全部的数据资产、业务属性，制定规范的资产类目，做好数据的分类分级和自动识别，摸清数据资产大盘；

2、做好资产成本价值的评估：包括追踪数据应用和剖析成本价值两部分。追踪数据价值需要构建追踪数据应用的全链路，盘点出每一份数据资产的连接度、贡献度；剖析成本价值主要从数据计算和存储两个维度来评估，计算每份数据资产的成本，从每一份资产在应用里的贡献度，来计算每一份数据的价值。

阿里巴巴通过以上步骤，将数据成本、业务收益做到清晰透明可评估，从而可以针对性的对数据资产进行运营，降低数据成本，提升数据效益。

本文我们重点关注资源治理部分，如何实现大数据建设的降本。

首先，我们来看一下，实现资源治理所要遵循的方法论。

要真正实现资源的治理，降低大数据建设的成本，需要以下两个关键步骤：

1、对全域的数据资产进行成本核算，生成全域的成本账单，获得降本目标。

1.1、对全域所有数据，统一按照计算成本和存储成本进行核算，生成每一份数据资产的成本估算

1.2、对全域所有数据，进行治理项检测，识别出不合理的数据资产（如无人访问的废弃表）和数据任务（数据倾斜），并评估浪费的成本，从而在宏观的层面，测算出全局可降本的空间。

2、以开发者个人为核心，推动部门、集团层面的治理优化，落实降本行动。

如果只是算出来了账单，却没有后续的运营手段的话，很难做到降本目标的真正落地。所以需要以技术运营的手段，让人人形成成本意识，真正参与降本。

2.1、对开发者、部门进行账单的汇总，进行总成本、浪费成本的排行并进行通过平台公示，从而能够快速找到最需要优化的个人和部门的数据资产

2.2、对开发者的个人资产情况进行打分，如果成本意识低，资源浪费严重，就会导致个人资产健康分数低，导致该开发者不能提交新的任务，从而使其必须进行资源的治理和任务的优化，从而在微观执行层面，真正落实降本的行动。

在方法论的基础上，我们还需要一个成熟的产品，来帮助我们快速的建立资源治理体系，真正降低我们在大数据建设中的成本。

Dataphin的治理功能，就是阿里巴巴的数据资产管理平台的商业化版本，具备强大的资源统计分析能力，能智能识别当前系统内低价值的数据资产和数据任务，并进行优化提示。

同时Dataphin提供了治理工作台功能， 您可以在治理工作台中，一站式的进行资源的优化处理，全局把控计算与存储成本，提升计算资源使用效率，减少无效的存储和计算成本。

首先，我们先看一下资源治理的应用场景，从而对资源治理的价值有一个更直观的认知。以下是通过Dataphin实现资源治理的一些典型的场景：

大数据场景下，一个公司往往有上万张表，随着业务的变更和人员的流动，一些业务表逐渐就无人使用，同时因为多个分区进行存储，会一直占着大量的存储资源。比如一些公司的原始数据，一个分区可能就有1T，但是业务每次都只会用最新的分区，就会导致大量的历史分区的存储浪费，可以设置分区的过期策略，对历史分区进行下线操作。

Dataphin资源治理功能，可以自动发现无人使用的数据表或其他异常数据表，并在治理工作台进行提醒和展示。您可以在治理工作台查看相应数据表，并采取相应的措施（如表下线、设置生命周期等）。

大数据场景下计算资源的重要价值和昂贵成本，需要每个任务都按需使用。而在实际的业务开发过程中，存在大量的异常计算任务，浪费了大量的计算资源，如暴力扫描（扫描大量分区）、数据膨胀（数据产出远远大于输入）、数据倾斜（部分节点处理时间过长）等情况。比如发现数据的输出远远大于数据的输入，可能就是存在数据膨胀的问题（比如使用了full join），这时候就需要对任务进行优化，以优化性能。

Dataphin的资源治理功能，对任务的执行进行了全链路的监控，自动发现这些异常的计算任务，并在治理工作台进行提醒和展示。您可以在治理工作台查看相应任务，并采取相应的措施（对相应的任务进行代码优化、下线等操作）。

下面我们看一下资源治理模块的详细流程图：

*虚线框的流程为可选流程

可以看到流程主要分为4步：

1、管理员制定治理规则。主要是正式治理前的一些准备工作，因为Dataphin内置了众多规则，所以这一部分是可选的，包括元数据注册、治理项管理、推送管理等功能。

2、数据负责人执行具体的资源治理。数据负责人登录系统，对具体的存储资源和计算资源进行优化。

3、管理员定期查看治理效果。管理员通过对治理效果进行分析和查看，了解当前的资源现状和治理效果，包括资源分析、治理分析、治理效果等功能。

4、管理员优化治理流程，提升后续治理效果。管理员根据上一步的治理效果，优化整个治理流程，比如增加新的治理项、增加新的推送任务、单独通知重点项目负责人等。

模块包括主要包括 资源管理、 治理概览、 治理工作台、 治理项管理、 回收站等功能：

随着数据的不断累积和业务的不断发展，大数据的体量将会变得越来越大，而随之而来的庞大成本，也成为了大数据建设中越来越无法忽视的问题。

从整体的功能来看，从新建治理项，到具体资源的优化，再到治理结果的分析，当前Dataphin已经有了比较完善的资源治理体系。但是基于客户资源治理场景的多样性，未来会陆续支持以下功能，从而帮助客户更好的进行资源的治理优化，降低客户进行大数据建设的成本。

1、对Hadoop等新引擎的支持。原有的治理模块和阿里云的云上资源紧密结合，仅能对云上环境实现完整的治理操作。对其他引擎，比如Hadoop，当前仅支持部分核心流程，我们会在后续版本中实现对Hadoop体系治理需求的完整支持。

2、治理和研发更紧密结合，确保资源治理效果。当前治理只是对负责人进行提示，在团队规模大、数据体量大的时候，比较难有较强的约束力。后续会支持严格模式，开启后，当个人浪费资源过多，健康分过低时，会直接跳转到治理模块，完成资源的治理后，才能执行新的开发任务，从而真正保证每个人都有成本意识，让企业真正实现降本增效。

更多详细内容参考：

1、Dataphin资源治理产品手册

2、EB级别数据资产如何高效管理