Gremlin 图查询概述

2024-01-22 06:13| 来源: 网络整理| 查看: 265

图数据库基本概念

图形数据库是 NoSQL 数据库的一种类型，它应用图形理论存储实体之间的关系信息。最常见的例子，就是社会网络中人与人之间的关系。关系型数据库用于存储关系型数据的效果并不好，其查询复杂、缓慢、超出预期，而图形数据库的独特设计恰恰弥补了这个缺陷。Google的图形计算系统名为 Pregel。

目前主流的图数据库有：Neo4j，FlockDB，GraphDB，InfiniteGraph，Titan，JanusGraph，Pregel等。

下面介绍几个图数据库中的几个基本概念：

RDF：RDF(Resource Description Framework)，即资源描述框架，其本质是一个数据模型（Data Model）。它提供了一个统一的标准，用于描述实体/资源。简单来说，就是表示事物的一种方法和手段。RDF 形式上表示为 SPO 三元组，有时候也称为一条语句（statement），知识图谱中我们也称其为一条知识。RDF 由节点和边组成，节点表示实体/资源、属性，边则表示了实体和实体之间的关系以及实体和属性的关系。RDF 没有外键和主键，它使用的是 URI，万维网的标准引用格式。通过 URI，一个三元组库可以直接链接到任何三元组库的其他任何数据。属性图：属性图是由顶点（Vertex），边（Edge），标签（Lable），关系类型还有属性（Property）组成的有向图。顶点也称为节点（Node），边也称为关系（Relationship）。在图形中，节点和关系是最重要的实体；TinkerPop：TinkerPop是一种开源图计算框架，是 Apache 软件基金会旗下的一个顶级项目，该项目专注于为图数据库建立行业标准，包括一种名为Gremlin的标准语言（可跨语言）；Titan：Titan项目创建于2012年，于2016年停止维护，是一个方便拓展的图数据库，支持HBase、Cassandra 等作为后端，ES、Lucene 等做全文索引，以TinkerPop作为图的查询和计算框架；JanusGraph：JanusGraph 是 Titan 1.0.0版本的延续，JanusGraph继承了 Titan 的全部功能并做了进一步的改进，并支持 Hadoop 2和 Tinkerpop 3.2.3，采用 Gremlin 图查询语言；Neo4j：Neo4j 使用「图」这种最通用的数据结构来对数据进行建模，使得 Neo4j 的数据模型在表达能力上非常强。链表、树和散列表等数据结构都可以抽象成用图来表示。

图数据的发展趋势是什么？知乎上有一个回答我个人比较赞同（链接）。

图的本质难题是什么？是数据的高度关联带来的严重的随机访问。所以，传统的关系型数据库解决不了这个问题，因为他们仍然是面向磁盘优化，尽可能利用磁盘顺序读写的优势。neo4j这种数据结构在数据落到磁盘上的时候，随机访问比关系型数据库多更多，性能衰减想当厉害。那么分布式nosql的路子呢？网络是瓶颈。完美的最小割图分区算法是NP难题，而且在数据写入的情况下还要面临动态调整的难题。如果使用naive的分区算法，网络通讯的开销是想当大的。

所以，个人浅见，只有靠新硬件来解决问题。更廉价的大内存、NVRAM、RDMA高速网络、随机读写更强的SSD磁盘、有硬件事务支持的CPU等。

下面是常见的几种图查询语言：

SPARQL：SPARQL这个名字是一个递归缩写，代表“SPARQL Protocol and RDF Query Language（SPARQL协议与RDF查询语言），它是面向RDF(Resource Description Framework)的三元组数据，W3C标准，无schema，在研究中应用非常广泛。SPARQL的查询与RDF是一致的，RDF是图，SPARQL查询是子图匹配。Gremlin：数据以属性图的形式存在，可以认为是上面两种的混合体，属性仍然在表中，但是联接关系是直接以链接（比如指针）的形式存在的。查询的本质是图遍历，擅长解决求图的直径、点到点之间的路径，比如刘德华连接奥巴马需要几度关系。Cypher：Cypher是 Neo4j 专门用于图数据库的查询语言，类似于Oracle数据库的SQL语言，是一种声明式查询语言，只需要用户描述需要执行什么动作（match、insert等），而不需要描述具体怎么做，需要注意的是，只有在商业版中，Cypher的查询语句编译器才会生成高性能的查询动作。

例1：查询所有城市类型为「Capital」的城市列表/URL

Cypher：

match(n:Capital) return n;

SPARQL:

PREFIX rdf：< http://www.w3.org/2018/11/22-rdf-syntax-ns#> SELECT * WHERE { ？city rdf：type < http://abc.org/Capital > }

Gremlin:

g.V().hasLabel("Capital").values()TinkerPop & Gremlin

TinkerPop 是一个图计算框架，用来进行实时的事务型处理，和批量的图分析，包含了一系列以 Gremlin 引擎为核心的子项目和模块。下面是 TinkerPop 框架下属性图的一个例子：

Gremlin 是 ThinkPop3 框架下的图查询语言，支持非常多的开发语言，例如 Python、JavaScript、Groovy、Scala、Go。Gremlin是一种函数式数据流语言，可以使得用户使用简洁的方式表述复杂的属性图（property graph）的遍历或查询。每个Gremlin遍历由一系列步骤（可能存在嵌套）组成，每一步都在数据流（data stream）上执行一个原子操作。目前我们主要用的Gremlin 语言是是 Groovy，语句类似这样：

// 查询andy到jack四跳以内的最短路径 g.V("andy") .repeat(both().simplePath()).until(hasId("target_v_id") .and().loops().is(lte(4))).hasId("jack") .path().limit(1)

每一条 Gremlin 语句会被转换成一个脚本对象，交给具体的脚本引擎去执行，如上面的 Gremlin-Groovy 查询，涉及到的模块有：

gremlin-core：定义了Gremlin 语句下的查询规范，由具体的图数据库实现(eg. PathProcessorStrategy.java)；；gremlin-groovy：基于 jsr223 实现的 groovy 脚本引擎(eg. GremlinGroovyScriptEngine.java)；gremlin-server：提供了 RESTFul 和 WebSocket 两种 Gremlin 查询能力(eg. GremlinServer.java)；

Gremlin还有其他的一些模块，如 gremlin-console、gremlin-jsr223等，需要的可以研究一下。框架型代码和工程代码（如 mybatis、nginx 等）的风格还是不一样的，一些好的设计模式值得好好研究。

值得一提的是，Gremlin 的模块中，有非常多的 SPI 实现：

下面是 gremlin-server 启动过程的部分代码，可以看到，gremlin-server 是一个典型的 netty 服务，通过通过的 ChannelHandler，支持了不同的协议（HTTP、WebSocket）。

public synchronized CompletableFuture start() throws Exception { if (serverStarted != null) { return serverStarted; } serverStarted = new CompletableFuture(); final CompletableFuture serverReadyFuture = serverStarted; try { final ServerBootstrap b = new ServerBootstrap(); final Channelizer channelizer = createChannelizer(settings); channelizer.init(serverGremlinExecutor); b.group(bossGroup, workerGroup).childHandler(channelizer); if(isEpollEnabled){ b.channel(EpollServerSocketChannel.class); } else{ b.channel(NioServerSocketChannel.class); } b.bind(settings.host, settings.port).addListener(new ChannelFutureListener() { @Override public void operationComplete(final ChannelFuture channelFuture) throws Exception { if (channelFuture.isSuccess()) { ch = channelFuture.channel(); serverReadyFuture.complete(serverGremlinExecutor); } else { serverReadyFuture.completeExceptionally(new IOException( String.format("Could not bind to %s and %s - perhaps something else is bound to that address.", settings.host, settings.port))); } } }); } catch (Exception ex) { logger.error("Gremlin Server Error", ex); serverReadyFuture.completeExceptionally(ex); } return serverStarted; }属性图底层存储（Hbase）属性图存储概述

Tinkerpop 下有较多的属性图实现：IBM Graph、Titan、JanusGraph、HugeGraph，均支持多后端存储，多模式也是目前图数据库发展的的一个大方向。多模式无疑可以满足更多的用户，降低了数据迁移和维护的成本。但从另一方面来看，多个后端存储也带来了一些弊端：

我们就需要在软件架构进行抽象，增加一个可以适配多个存储的数据格式（StaticBuffer），数据无论是写入还是读取，都需要先转化成中间格式，这里带来了序列化和反序列化的一些性能损耗；抽象后的架构，对外是统一的，不利于我们发挥后端的存储查询优势（如 Hbase 的 Coprocessor，是可以加速查询的），为了使用这种能力，我们需要破坏这种统一的架构去适配后端存储。

下面主要以 JanusGraph + Hbase 这套组合为例，介绍其存储过程（不同的存储后端存储格式不一样）。

JanusGraph 采用的分片方式（也有按照点切割的图数据库）是按Edge切割，而且是对于每一条边，都会被切断。切断后，该边会在起始 Vertex 上和目的 Vertex 上各存储一次（多浪费了空间）。通过这种方式，JanusGraph 不管是通过起始 Vertex，还是从目的 Vertex，都能快速找到对端 Vertex。

从上图我们可以得到如下的结论：

Hbase 每一行存储一个顶点，RowKey 为 Vertex Id；一个 Vertex 的 Properties 信息，以及与该 Vertex 相关的 Edges，都以独立的列存储，而且被存成了一行数据；表示 Edge 的列中，包含了 Label 信息，Edge ID，相邻 Vertex 信息，属性等信息；表示 Vertex Property 的列中，包含了 Property 的 ID，以及 Property 的值；

注意，Vertex/Edge/Property 在创建时，都会分配一个 ID，主要的逻辑在 Janusgraph-core 包中的 org.janusgraph.graphdb.idmanagement.IDManger 类中，下面是给顶点增加 ID 的过程。

public long getVertexID(long count, long partition, VertexIDType vertexType) { Preconditions.checkArgument(VertexIDType.UserVertex.is(vertexType.suffix()),"Not a user vertex type: %s",vertexType); Preconditions.checkArgument(count>0 && count

【本文地址】

公司简介

联系我们