数据血缘关系：图数据库Neo4j存储实现

背景

元数据管理包含内容较广，本篇介绍其中非常重要的数据血缘关系存储实现。

数据血缘关系包含了集群血缘关系、系统血缘关系、表级血缘关系和字段血缘关系，其指向数据的上游来源，向上游追根溯源。这里指的血缘关系一般是指表级和字段级，其能清晰展现数据加工处理逻辑脉络，快速定位数据异常字段影响范围，准确圈定最小范围数据回溯，降低了理解数据和解决数据问题的成本。同时数据血缘关系可与数据质量监控系统进行完美的整合，重要数据质量检测异常结果可通过数据血缘关系直接定位影响范围。

生成数据血缘关系的数据可通过数据库服务端部署监听或钩子程序对各种版本sql方言如oracle、greenplumn、mysql、hive、presto、sparksql和flinksql等进行解析获取，然后存储到图数据库Neo4j。

数据血缘关系，就是复杂关系网络。选择图数据库存储，是因为图数据库是基于图论实现的新型数据库，擅长处理点和边组成的复杂关系网络，执行和查询效率较传统关系型数据库具有无可比拟的优势。

本篇会讲解数据血缘关系上功能应用和图数据Neo4j安装使用与实例讲解。

数据血缘关系

通过对oracle、greenplumn、mysql、hive、presto、spark和flink多引擎等等覆盖，实现生成数据血缘关系、数据价值分析、影响度分析和数据存储生命周期管理。在生成数据血缘关系过程中或之上应用可包括以下功能应用：

安装Neo4j（Mac）

Neo4j安装是Mac版安装相对简单，但前提是得安装Java jdk这里就不再赘述，读者自行安装，下面给出neo4j下载地址：https://neo4j.com/download-center/#community

笔者使用的社区版为例安装和讲解，Neo4j社区版和企业版的技术特性区别如下：

无论是企业版还是社区版，对数据血缘关系的存储都已够用，这里使用的是社区版。

首次登陆的默认用户名和密码：neo4j/neo4j 会提示修改用户名和密码，根据自己记忆存储能力设置一个密码，这里简单密码为000000，提示修改密码，修改后进入如下界面：

Neo4j基础知识

Neo4j是一个高性能的NOSQL图形数据库，它将结构化数据存储在网络上而不是表中。Neo4j最大的特点是关系数据的存储。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎，但是它将结构化数据存储在网络（从数学角度叫做图）上而不是表中。Neo4j也可以被看作是一个高性能的图引擎，该引擎具有成熟数据库的所有特性。

Neo4j 是目前最流行的图形数据库，支持完整的事务，在属性图中，图是由顶点（Vertex），边（Edge）和属性（Property）组成的，顶点和边都可以设置属性，顶点也称作节点，边也称作关系，每个节点和关系都可以由一个或多个属性。Neo4j创建的图是用顶点和边构建一个有向图，其查询语言cypher已经成为事实上的标准。

图数据库Neo4j涉及内容较多，笔者这里仅讲最基础基本元素与概念，方便下面例子讲解。需深度学习的读者可参考其他资料学习。

节点Node是图数据库中一个基本元素，用以表示一个实体记录，就像关系数据库中的一条记录，一个节点Node可包含多个属性Property和多个标签Lable。

关系RelationShip在图论中成为边Edge，用来连接两个节点Node，其起始端和末尾段必须是节点Node。关系和节点一样可包含多个属性，但关系只有一个类型Type

节点和关系都可以有多个属性，其是有键值对组成的。类型java的Map类型

路径是由节点和关系组成的。路径也有长度的概念，即路径中关系边的条数。

Cypher是由Neo Technology公司为Neo4j而创建的一种图数据库查询语言，类似SQL语法，下面进行实例简单讲解其语法。

举个荔枝：

创建一个字段节点，有多个属性

create (n)：以这种语法形式创建节点，内可以添加标签、属性。可与其他节点创建关系和路径。

job_type：变量名称

field：标签，节点的标签可以多个。

fieldName:'job_type',dataType:'string'等为节点属性，节点可有多个属性.{}定义在大括号内，以键值对组成的。

再举个板栗：

匹配match两种标签field和table的节点，满足了where条件后，create创建关系，然后查找路径。

Cypher查询语言涉及内容很多，读者可到Neo4j官网自行查阅，这里不再赘述。

数据血缘关系实例讲解

本例两张表字段直接简单映射，形成数据血缘关系。表insurance_fact_user_base_information用户基本信息表是源表（上游表），表insurance_fact_user_base_information1用户基本信息表1是目标表（下游表）。用户基本信息表字段都是用户信息中非常通用的维度，并且字段和表节点含有表、数据库和集群信息，可以做到多层级血缘关系。

这里给出了Neo4j脚本

上述数据初始化进去后，通过命令可以查看此例小范围数据血缘关系

这是原生的Neo4j的展示的图不够美观，可进行再次开放封装。

在开发实现上可一键定位异常数据影响范围，如影响了下游哪些集群、系统或应用、表和字段多层级展示视图切换，向上溯源查找字段加工逻辑多层级展示同样如此。

总结

本篇讲述了数据血缘关系使用Neo4j存储，并给出例子实现创建血缘关系创建语句，实际应用中数据血缘关系是通过数据加载进去的。没讲这些血缘关系的元数据是如何从SQL或应用中解析获取的，有机会笔者再另分享。

数据血缘关系在元数据管理中是非常重要的内容，其不仅展示数据来龙去脉，还定位异常数据影响范围。如影响度分析，也是较为血缘关系应用的一部分，其用来分析数据的下游流向。当系统进行升级改造时，能动态数据结构变更、删除及时告知下游系统。通过依赖数据的影响性分析，可以快速定位出元数据修改会影响到哪些下游系统，哪些表和哪些字段。从而减少系统升级改造带来的风险。