论文笔记：Complex Knowledge Base Question Answering: A Survey

标题：Complex Knowledge Base Question Answering: A Survey 原文链接：Complex Knowledge Base Question Answering: A Survey 作者：Yunshi Lan*, Gaole He*, Jinhao Jiang et.al 发表年份：2022 收录期刊：

注：此文仅关注基于IR的KBQA，基于SP的KBQA请看原文。

总体流程由4个模块组成：

Retrival Source Construction：即根据知识库召回主题实体的子图，之后根据该主题子图进行推理

Question Representation：对问题输入进行编码，将NLQ转为向量形式，通常情况下，问题q会被神经网络 (如 LSTM、GRU 和 PLMs) 编码为隐藏向量q，然后与其他方法 (如注意力机制) 结合起来生成一个向量作为指令。

Graph Based Reasoning：根据第2步得到的推理指令，在第1步得到主题子图上进行推理

Answer Generation：答案生成模块根据推理状态生成答案。这类生成器主要有两种类型：(1) 实体排名生成器，它对实体进行排名，获得排名最高的实体作为预测答案；(2) 文本生成器，使用词汇表 V 生成自由文本答案。

对于复杂的知识库问答，这些模块会遇到不同的挑战。首先，检索源模块从知识库中提取一个与问题相关的图形，包括相关事实和大量噪声事实。由于源知识库的不可忽略的不完整性 [93]，正确的推理路径可能不存在于提取出的图形中。这两个问题在处理复杂问题时更容易出现。其次，问题表示模块理解问题并生成指令以引导推理过程。当问题变得复杂时，这一步变得具有挑战性。之后，通过语义匹配在图形上进行推理。当处理复杂问题时，这种方法通过语义相似性对答案进行排名，而没有在图形中进行可追溯的推理，这妨碍了推理分析和故障诊断。

接下来的部分将阐述先前的工作如何应对这些挑战以及使用的先进技术。

由于知识库的不完整性和启发式图生成策略带来的噪声图上下文，这样的主题子图永远不会完美

利用句子作为节点来补充不完整的知识库。从直觉上讲，从维基百科检索到的大量问题相关文本语料库可以提供广泛的非结构化知识作为补充证据。基于此观察，Sun等人提出了通过额外的问题相关句子作为节点补充图结构，并在扩充的异构图上进行推理的方法（即图9左侧）。根据句子中提到的实体，他们将它们与图上相应的实体链接起来，并将其视为节点。

将文本信息与实体表示相结合。Xiong等人[51]和Han等人[80]提出了将额外的文本信息融合到实体表示中的第二种方法（如图9中间所示）。Xiong等人[51]设计了一种新的条件门控机制，在子图阅读器的指导下获取具有知识感知能力的句子信息，这些信息被进一步汇聚以增强实体表示来补充不完整的知识库。类似地，Han等人[80]将句子的文本信息融合到实体表示中。在他们的设置中，每个句子都被视为连接其涉及的所有实体的超边，一个文档可以被视为超图。基于超图卷积网络（HGCN）[94]，他们编码文档中的句子并将句子表示融合到与句子相关的实体表示中。

在不完整的图中补充预训练的知识库嵌入。在知识库完成（KBC）任务中，知识库嵌入已被采用以通过执行丢失链接预测来缓解KB的稀疏性。受此启发，Apoorv等人[81]利用预训练的知识库嵌入来解决不完整的KB问题，如图9的右侧所示。具体而言，他们使用ComplEX [95]方法预训练KB嵌入（即实体和关系嵌入），并通过三元组评分函数预测答案，将三元组以（主题实体，问题，答案实体）的格式作为输入。为使问题适应原始的ComplEX评分函数，他们将问题的Roberta [96]嵌入映射到相同维度的复杂空间中。通过利用全局KB的预训练知识，他们隐式地补充了不完整的问题特定图。

由于问题特定的图谱是通过启发式方法构建的[50]，因此可能会引入冗余甚至与问题无关的噪声图谱上下文（包括实体和句子节点）。

构建精确的问题特定图。一个直观的想法是构建一个相对较小和精确的图用于下游推理。为了实现这个目标，Sun等人提出了一种基于迭代检索和推理过程的异构图，其受最短路径的监督，该路径连接了主题实体和答案实体。在最近的一项工作中，**张等人提出了一个可训练的子图检索器（SR），用于检索相关的关系路径进行后续的推理。**他们的实验结果证明，这种精确的图可以为基于IR的方法带来实质性的性能提升。

过滤推理过程中的无关信息。除了构建小而精确的图进行后续推理外，一些研究工作提出在推理过程中过滤掉无关信息。注意力机制在消除无关特征方面非常有效，现有的基于信息检索的方法 [43]、[51]、[83]都采用了注意力机制在推理过程中保留相关信息。类似地，Yasunaga等人 [84]采用预训练语言模型对每个节点进行打分，并在问题回答上下文的条件下进行后续推理过程。

理解复杂问题是后续推理的前提。然而，复杂问题包含组合语义并需要特定的知识（例如命名实体，序数推理）来回答。由于这些复杂问题的内在特性，为简单问题设计的方法可能不适合复杂问题。

基于IR的方法通常通过神经网络（如LSTM和GRU）直接将问题编码为低维向量，生成初始问题表示q。通过上述方法获得的静态推理指令（例如q的最终隐藏状态）不能有效地表示复杂问题的组合语义，这给在问题特定图上指导推理带来了挑战。为了全面理解问题，一些研究在推理过程中动态更新推理指令。

分步指令结合不同语义的注意力机制。为了让推理模型了解推理步骤，Qiu等人[68]提出通过使用单层感知机将初始问题表示q转化为具有步骤感知的表示。在获取步骤感知问题表示后，还进一步融合了注意力机制，以选择有用的信息生成指令向量。同样，He等人[85]提出采用动态注意力机制关注问题的不同部分。基于步骤感知问题表示和前一推理指令i(k−1)，他们生成关于问题标记的关注分布并更新指令向量。

结合推理的上下文信息进行指令更新。除了通过注意力明确记录问题的分析部分外，一些其他工作提出使用沿着推理过程检索到的信息来更新指令。一个典型的例子是生成明确的推理路径并使用生成的路径更新指令。周等人[86]设计了一个模型，将当前的推理指令i(k)作为输入，然后从知识库中的所有关系中预测出中间关系r(k)。在获取预测关系之后，模型通过以下方式更新指令向量：i(k+1) = i(k) − r(k)，其中减法的目的是从问题中省略分析信息。因此，更新后的推理指令可以在随后的推理过程中保留未分析部分的问题。除了生成明确的推理路径外，徐等人[87]和米勒等人[43]采用键值内存网络实现了类似的动态指令更新。具体而言，他们首先将包含一个主题实体作为主语的所有知识库事实都包含在内存中。然后，他们在键值内存中索引键和值，其中键是（主语，关系）对，值是相应的对象实体。进行关键寻址过程以找到最适合指令的键和相应的值。通过寻址的键和值，他们将它们的表示与先前步骤的推理指令i(k)连接起来，并执行线性变换以获得更新后的推理指令i(k+1)，以指导下一跳推理。通过这种方式，推理指令将在内存中更新。

基于图神经网络的联合推理。除了指令更新，另一条研究路线是通过基于图神经网络（GNN）的推理来处理这样的组合语义。Sun等人提出了一种基于GNN的模型GraftNet，用于在异构信息源上推理复杂问题。**通过迭代GNN推理步骤，实体表示和推理指令依次得到更新。推理指令传达了动态更新的主题实体知识。**尽管推理指令和图神经网络都进行了迭代更新，Yasunaga等人提出了QAGNN模型，它使用单个基于图神经网络的联合推理来推理复杂问题。他们使用额外的问题回答上下文节点构建了问题特定的图，该节点连接图中的所有其他节点。所有节点都使用预训练语言模型（PLM）进行统一编码作为初始表示，并随着图神经网络推理的更新。

除了组合语义之外，复杂问题还可能包含知识密集型标记或短语（例如命名实体、序数约束），这阻碍了基于文本的语义理解的自然处理。除了问题文本，外部知识也被视为输入，以帮助理解这些复杂问题。

注入具有知识的实体表示。在自然语言问题中，主题实体通常是命名实体，这些实体对于理解来说并不够信息丰富。为了应对这些命名实体，一些现有工作提出注入从知识库中获得的更具信息量的表示。作为一个典型的例子，熊等人 [51] 提出在潜在空间中用从主题实体的图上下文中学习到的知识表示重新制定查询表示。通过消融实验，他们验证了注入这种知识表示到问题表示中的有效性。类似的思路也被采用在了知识增强的语言模型预训练[97]，[98]中。虽然自然答案可以从流行的seq2seq文本生成框架中生成，但直接从标记词汇表中生成命名实体仍然很困难。为了解决这个问题，何等人 [88] 首先提出了一个复制和检索机制来从问题特定的图中的问题标记和实体的额外词汇中生成自然答案。类似地，尹等人 [89] 和付等人 [90] 将关系事实输入结构化记忆槽中，这些槽作为生成命名实体的额外词汇，并使用基于注意力的信息融合生成具有知识的表示。

为数值推理注入知识表示。尽管提出了多种方法来进行多跳推理，但很少关注如何解决带有数值操作的复杂问题。为了使基于IR的方法具备数值推理能力，Feng等人提出了将数字属性（即数字的大小和序数属性）编码到实体表示中的方法。首先，他们手动定义了一组序数限定词（例如第一，最大）以检测序数约束的问题。对于这些检测到的问题，他们使用额外的数字属性三元组丰富了问题特定图。**使用预训练的数字编码模块对这些数字属性三元组进行编码，**额外的数字嵌入可以用作模型无关的插件，以进行基于IR的方法的数值推理。

由于复杂问题通常需要按顺序查询多个事实，因此系统应该能够根据可追溯的推理过程在图上准确预测答案。虽然神经网络很强大，但是其推理模块的黑盒样式使得推理过程不太可解释，难以融合用户交互以进一步提高效果。为了得出更可解释的推理过程，推理采用多步中间预测来执行。在推理过程中，KBQA模型生成一系列推理状态{s(k)，k=1，…，n}。虽然最终状态用于生成答案预测，但中间状态可能有助于生成中间预测（即匹配的关系或实体）以获得更好的可解释性。更重要的是，中间预测使得通过用户交互更容易检测到错误的推理或谬误。

解释复杂推理与关系路径。现有研究采用不同的推理状态和推理模块设计来解释推理过程。具体而言，Zhou等人[86]将多跳推理过程形式化为关系序列生成，并使用向量表示推理状态。对于每一步，指令向量和状态向量与关系候选项匹配，生成KB中所有关系的概率分布。然后，加权关系表示用于更新状态。通过重复此过程，模型可以实现可解释的推理过程。受上述工作的启发，Han等人[83]提出了一种基于超图卷积网络（HGCN）的可解释模型，用于预测关系路径以进行解释。他们通过定位通过相同关系连接的一组实体来构建密集超图，这模拟了人类的跳跃式关系推理。为了训练这两个模型，使用了金标准关系路径。然而，在大多数情况下，金标准关系路径注释不可用，这使得他们的方法不适用于通用数据集。

使用中间实体解释复杂推理。除了关系路径，一些研究工作在中间步骤预测与问题相关的实体来解释多跳推理过程。徐等人[87]精心采用键-值记忆网络来实现可追踪的推理过程。在他们的工作中，状态s(k)被定义为值表示的加权和，其中权重从键-指令匹配中获得。为了预测中间实体，他们的模型遵循传统的基于IR的方法，在给定查询s(k)+s(k-1)的情况下对候选实体进行打分。由于虚假的长路径可能将主题实体与KB中的答案实体连接起来，因此在训练期间，他们提出了使用最终答案来监督中间实体预测的方法。这样的目标鼓励模型生成最短的推理路径。除了明确生成中间实体外，何等人[85]还提出了生成中间实体分布来指示推理过程。他们的实验结果也表明，这种中间监督信号可以有效地减少虚假推理。

与基于SP的方法类似，没有任何中间步骤的注释，对于IR-based方法来说很难推理出正确的答案，因为模型在推理结束之前无法得到任何反馈。研究发现，这种情况可能会导致虚假推理[85]。由于缺乏中间状态监督信号，因此从虚假推理中获得的奖励可能会误导模型。

用于中间反馈的Reward shaping。为了在弱监督信号下训练模型，Qiu等人 [68]将KB上的多跳推理过程形式化为扩展图上的推理路径过程。基于编码的决策历史，策略网络利用注意机制来关注给定问题不同部分对三元组选择的独特影响。为了缓解由于弱监督信号引起的延迟和稀疏奖励问题，他们采用奖励塑形策略来评估推理路径并提供中间奖励。具体来说，他们利用问题和关系路径之间的语义相似性来评估中间步骤的推理状态。

学习伪中间监督信号。除了评估中间步骤的推理状态外，一个更直观的想法是推断伪中间状态，并用这些推断出的信号增强模型训练。受图上双向搜索算法的启发，何等等人 [85] 提出了使用双向推理过程学习和增强中间监督信号的方法。以实体分布作为中间步骤的合适监督信号，他们提出了在师生框架下学习和利用这种信号的方法。

增强监督信号的多任务学习。虽然大部分现有工作都集中于增强中间步骤的监督信号，但很少有研究关注实体链接步骤。大部分现有工作利用现成工具来定位问题中的主题实体，导致误差传播。为了在没有注释的情况下精确定位主题实体，张等人 [92] 提出了通过变分学习算法共同建模主题实体识别和随后的基于知识库的推理来训练实体链接模块。他们还应用了REINFORCE算法和方差减少技术，使系统能够进行端到端的训练。

对于基于IR的方法，PLMs有助于精确的源构建，并进一步增强了统一的推理能力。一方面，PLMs提供了强大的表示能力，以从KB中检索语义相关信息。另一方面，PLMs可以帮助统一问题和KB的表示，这有助于推理能力的提高。由于PLM的强大表征能力，我们可以增强问题特定图的检索，缓解检索源构建时知识库的不完整性。此外，PLMs提供了一种在统一语义空间中建模非结构化文本和结构化知识库信息的统一方法，进而提高问题特定图推理能力。

**基于PLM增强检索源构建。**为尽可能完整地覆盖答案，传统的启发式方法（如个性化的PageRank[107]）会调用大量嘈杂的问题特定图[82]，从而阻碍后续推理。因此，Zhang等人[82]训练了一个基于PLM的路径检索器来检索 the hop-wise question-related relations。在每一步，检索器基于问题和前一步选择的关系对前k个关系进行排名。这种方法成功地过滤了嘈杂的图上下文，并保持了对预期推理路径的高召回率。

缓解知识库不完整性。PLMs已经展示了它们回答“填空”cloze语句[108]，[109]，[110]的能力，这表明它们可以从无监督预训练中学习关系知识。这些关键发现表明PLMs在作为问题回答的知识源方面具有巨大潜力，这可能在不完整的KB中发挥补充角色。

PLM用于精确和统一的推理。由于强大的预训练语言模型，一些研究人员对复杂的基于图结构的推理进行了改进，以进一步涉及PLM。虽然传统的知识库推理依赖于实体和关系的嵌入，但这些嵌入可能无法识别答案上下文的相关部分。为了过滤掉检索到的子图中的嘈杂图上下文，Yasunaga等人[84]采用PLM相似度分数来确定给定问题的相关知识。为了进一步联合推理问题回答上下文（即问题-答案序列）和知识图，检索到的子图中的节点表示被初始化为由问题、答案和节点表面名称的串联序列的PLM编码。通过PLMs的增强，GNN模型得到了实质性的性能提升[84]。