大型语言模型(LLMs)在开放领域问答(OD-QA)中采用的“预训练,提示,预测”范式已经取得了显著成功。然而,很少有工作探讨这一范式在多文档问答(MD-QA)中的应用,这是一个要求对文档内容和结构之间的逻辑关联有深入理解的任务。为了填补这一重要空白,我们提出了一种知识图提示(KGP)方法来在LLMs中形成正确的提示环境,以应对MD-QA的需求。该方法包括图构建模块和图遍历模块。在图构建阶段,我们基于多文档创建了一个知识图(KG),其中的节点代表文章或文档结构(如页面/表格),边表示文章之间或文档结构之间的语义/词汇相似性。在图遍历阶段,我们设计了一个基于LLM的图遍历代理,该代理能够在节点之间导航,并收集支持MD-QA的文章。所构建的图作为全局规则器,调节文章之间的转换空间,并减少检索延迟。同时,图遍历代理作为局部导航器,收集相关上下文,逐步接近问题,并保证检索质量。大量实验突显了KGP在MD-QA中的有效性,表明利用图形增强提示设计和检索增强生成对LLMs的潜力。
由于大型语言模型( large language models,LLMs )的出现,"预训练、提示和预测"范式使自然语言处理( natural language processing,NLP )在现实应用中发生了革命性的变化,如开放域问答、事实核查、算术推理( Chen et al 2017 ; Thorne et al 2018 ; Asai et al 2019 ;卡尔普欣et al 2020 ; Aly et al 2021 ; Qin et al 2023 ; Zou and卡拉贾2023 ; Liu , Dong , and Zhang 2023)等。然而,该框架在多文档问答( MD-QA )场景下的研究并不多见,而MD - QA在学术研究、客户支持和金融/法律查询中具有实际用途,需要从多个文档(泰苏托2011 ; Bolino , Long和特恩利2016)中进行深入的分析
为了研究法学硕士进行 MD-QA 的能力,我们从 2WikiMQA(Ho 等人,2020)和 MuSiQue(Trivedi 等人,2022b)的开发集中随机抽取多文档问题,然后提示法学硕士采取四种不同的策略:答案成功回答这些问题需要来自多个维基百科文档的知识。如图1所示,在2WikiMQA和MuSiQue上,直接提示LLM而不提供任何上下文,即None,在2WikiMQA/MuSiQue上仅获得25.07%/10.58% F1和18.60%/4.60% EM,远低于59.69% /47.75% F1 和 40.20%/30.60% EM 当以上下文提供的支持事实 2 进行提示时,即黄金事实。这表明仅使用法学硕士中编码的知识来实现 MD-QA 的局限性。克服传统 OD-QA 和单文档问答 (D-QA) 中这一限制的一种常见解决方案(Xu 等人,2020 年;Mathew、Karatzas 和 Jawahar,2021 年)是检索基础上下文并从上下文中得出忠实的答案,即、检索并读取(Zhu et al. 2021;Ju et al. 2022)。然而,与 ODQA 和 D-QA 不同,MD-QA 的主要挑战源于其对跨不同文档交替检索和推理知识的需求(Pereira 等人,2023 年;Caciularu 等人,2023 年)。例如,要成功回答图 2(a)-(b) 中的问题,需要对来自两个不同文档(在这两种情况下为维基百科页面)的不同段落进行推理。此外,每个文档本质上都是一个多模态结构化数据(例如页面、章节、段落、表格和图形)的编译,有些问题可能会专门要求某些结构的内容,这就需要全面掌握这些复杂的文档结构。例如,图 2(c) 中的问题询问了第 1 页和表 2 之间的差异,如果利用 BM25 等启发式方法或 DPR 等深度学习方法,这是无法回答的(Karpukhin et al. 2020)。在之前的挑战之上,法学硕士的出现带来了新的复杂性。

对于跨不同文档交替检索和推理知识的挑战,尽管之前的工作训练多跳检索器(Xiong 等人,2020 年;Yavuz 等人,2022 年)来模仿这样的过程,根据已经存在的信息顺序获取下一个段落。检索到的,他们都没有探索让法学硕士参与这一过程的潜力。最近的作品设计了不同的提示策略,例如链/树/思维图(Trivedi et al. 2022a;Wei et al. 2022;Yao et al. 2023;Yao、Li和Zhao 2023)来指导法学硕士接近答案逐步。然而,来回提示非开源法学硕士会导致令人难以接受的延迟以及难以承受的消耗。此外,如何将不同的文档结构融入到提示设计中,以便LLM们能够理解它们仍然是一个开放性问题。
鉴于上述挑战,我们提出了一种知识图提示(KGP)方法来增强 MD-QA 中的 LLM。具体来说,我们在给定的文档上构建一个知识图谱,其中节点表示段落或文档结构,边表示段落之间的词汇/语义相似性或文档内结构关系。然后,针对替代推理和跨不同文档检索知识的第一个挑战,我们设计了一个基于 LLM 的 KG 遍历代理,它可以选择性地生成下一个证据来处理问题,即推理,并从构造的中选择最有希望访问的邻居基于生成的证据进行KG,即检索。此外,我们应用指令微调策略来增强基于 LLM 的 KG 遍历代理的推理能力,从而避免反复提示非开源 LLM 生成证据。对于应对多模态挑战,我们将不同类型的节点添加到知识图谱中,以表征不同的文档结构,从而在这些特定结构中实现内容检索。我们强调我们的贡献如下:
• **普遍适用的KG 结构。**我们提出了三种文档知识图谱构建方法,以段落或文档结构作为节点,以它们的词汇/语义相似性或结构关系作为边。然后,我们通过检查每个问题的邻域和支持事实之间的重叠程度,凭经验评估 MD-QA 中构建的知识图谱的质量(图 5)。此外,我们在补充材料的表 5 中提供了我们提出的和现有的 KG 构建方法的全面总结。
• **利用KG 进行快速配方。**我们设计了一种知识图提示(KGP)方法,该方法利用基于LLM的KG遍历代理通过遍历构造的KG来检索与问题相关的上下文。此外,我们对该代理进行微调,以根据访问的节点(检索到的段落)自适应地遍历最有希望的邻居来解决问题。
• **验证MD-QA 框架的案例研究。**我们比较了在不同数量的文档构建的 KG 上使用不同类型的 LLM 代理进行图遍历(表 2)时 MD-QA 的性能(图 7(c))。我们在补充材料第 8.7 节中对 MD-QA 的 KGP 可视化进行了案例研究。
根据(Tian et al. 2023a),令 G = (V, E) 为由一组文档 D 构造的知识图,其中节点集 V = {vi}n i=1 表示文档结构(例如,段落/页面) /tables 等),边集 E ⊂ V ×V 表示不同节点之间的连接(例如文档结构之间的语义/词汇相似性和归属关系等)。设 X = {Xi}n i 为节点特征,Xi 对应节点 vi 的特征,其形式可以是段落的文本、表格的 markdown 和页面的页码。
尽管有许多完善的知识图谱(Hoffart et al. 2013;Tian et al. 2023b),但它们将节点/边视为实体/关系,这需要复杂的关系提取技术,从而限制了它们在一般领域的适用性(Huang et al. 2021) )。此外,他们对维基百科领域的主要关注也限制了他们回答非维基百科问题的用途,例如有关法律或财务文件的问题。为了解决这个问题,我们提出了普遍适用的KG构建方法。
我们首先分析图 2(a)-(b) 中的两个代表性问题来激发我们的知识图谱构建。回答这两个问题需要推论不同段落之间的逻辑关联。这些关联通过以下方式进行编码:
词汇相似性:不同段落之间共享的通用关键字,例如,“Alf Clausen”连接图 2(a) 中的段落 S1 和段落 S2,或
语义相似性:传达语义关系的句法元素,例如,图 2(b) 中的“国籍”和“美国导演”。这促使我们通过将段落建模为节点并将其词汇/语义相似性建模为边缘来构建图表。