我们在以前的文章中已经介绍了使用大语言模型将非结构化文本转换为知识图谱。但是对于知识图谱的创建是一个很复杂的过程，比如需要对属性增加限制，创建符合特定主题/模式的图谱，并且有时文档非常大，无法作为单个提示处理，所以在切分后的提示中创建的图谱需要前后一致。

所以本文将介绍和比较使用LLM转换非结构化文本的四种方法，这些方法在不同的场景中都可能会用到。

LLM似乎已经接受了各种标准本体(如SCHEMA)的预先培训。ORG, FOAF, SKOS, RDF, RDFS, OWL等。所以通过适当的系统提示来指导使用这个预训练的本体，再加上包含非结构化文本的用户提示，我们可以获得想要的转换后的图谱结构。

提示如下

LLM的相应如下

对于gpt-3.5-turbo在创建新属性时没有问题。如果我们修改系统提示符，只使用SCHEMA.ORG

也会得到相应的输出

这是最简单的方法，因为我们不需要做任何的操作，完全的使用LLM已经训练好的内容，并且也能得到很好的输出。提示也非常简洁(约41个token)，不会占用太多的字符。

但是转换仅限于LLM预先训练过的那些“标准”本体。如果你问ChatGPT是在什么标准本体上进行训练的，他不会给你想要的答案，这样对我们来说就是一个黑盒。并且在文本到图谱的转换中生成的实体还需要在各个图谱之间进行对齐。

在大多多情况下，我们希望使用非标准或自定义本体。LLM不太可能在这样的本体上进行预训练，因此我们需要在提示中包含完整的本体。

我们需要对转换的内容进行详细的说明，这导致提示token增加到了~3567，使用与之前相同的输入提示，LLM也可以很好地转换文本:

当我们将自定义的内容包含在提示中时，LLM似乎可以理解用RDF、RDFS和OWL表示的本体，并且能够将非结构化文本转换为自定义本体。

但是这导致提示现在非常长，以为系统提示token开销很大。这将增加成本也会减慢响应时间，因为时间与要处理的token成正比。并且这个结果仍然需要对齐。

前两种方法的主要问题是局限于预训练的本体，或者在提示中包含自定义本体时开销很大。所以我们可以对LLM进行微调使用KG对LLM进行微调是非常简单的，因为图的本质是三元组:

我们可以将其映射到提示中进行训练。下面的内容都是可以从图中自动生成的。

这个问题就变成了训练LLM将一种语言(非结构化英语文本)翻译成另一种语言(使用微调本体语义的高度结构化rdf图)。

所以问题就变成了创建一个具有代表性的微调训练集(100~200个)和RDF转换集。但是如何设计提示呢？我们来直接问问LLM，因为她最了解自己，哈。

gpt-3.5-turbo以正确的格式做出了回应。

我们来试试效果，使用它生成了一个适当大小的(160)转换调优数据集。使用3和10个epoch对LLM进行了微调。

System-prompt (34 tokens):

User-prompt (28 tokens):

LLM的结果

可以看到，工作的还不错，LLM自己给自己上了一课，我们只是动动嘴（手）。另外在质量上3 epoch和10 epoch微调的LLM之间的转换质量似乎没有什么差别。

LLM可以使用自定义本体进行微调，调优LLM的提示可以非常简洁(约41个token)，因此大部分token成本由要转换的非结构化文本组成。

但是微调需要度量llm理解自定义本体的准确性和图谱转换的准确性的指标，如何判断好坏就是一个需要仔细研究的问题，我们生成的图谱仍然需要对齐。

通常情况下，单个本体/模式不足以捕获文本的完整语义，所以需要使用两个或更多本体。这里的一个好消息是经过微调，LLM并没有忘记预训练的本体，所以我们可以将它们结合使用。

结果如下：

可以看到，回复中不仅包含了我们微调的结果，还包含了模型预训练时返回的结果

但是这里有一个问题，当同一概念在本体之间重叠时，我们需要控制LLM返回使用哪个。

对于上面几种方法的对比，我们总结了一个图表：

llm可以有效地将非结构化文本转换为RDF图。自定义本体微调模型的token效率要高得多，因为它不需要在每个转换请求提示符中提供完整本体的开销，当需要转换多个文本时，这可以降低生产环境中的转换成本。

但是我们还没有提到如何建立文本到KG转换的“准确性”测试，并且转换后如何进行实体对齐，我们将在后面的文章中继续介绍。

作者：Peter Lawrence