172
Knowledge Graph Prompting for Multi-Document Question Answering
58
119
GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning
17 陈华均
Large Knowledge Model: Perspectives and Challenges
204
Efficient Tuning and Inference for Large Language Models on Textual Graphs
最近,检索增强生成(RAG)在解决大型语言模型(LLM)的挑战方面取得了显着的成功,而无需重新训练。通过引用外部知识库,RAG 细化了 LLM 输出,有效缓解了“幻觉”、缺乏特定领域知识和过时信息等问题。然而,数据库中不同实体之间复杂的关系结构给 RAG 系统带来了挑战。作为回应,GraphRAG 利用跨实体的结构信息来实现更精确和更全面的检索,捕获关系知识并促进更准确、上下文感知的响应。鉴于 GraphRAG 的新颖性和潜力,对当前技术进行系统审查势在必行。本文首次全面概述了 GraphRAG 方法。我们规范了 GraphRAG 工作流程,包括基于图的索引、图引导检索和图增强生成。然后我们概述了每个阶段的核心技术和培训方法。此外,我们还研究了 GraphRAG 的下游任务、应用领域、评估方法和工业用例。最后,我们探索未来的研究方向,以激发进一步的探究并推动该领域的进展。为了跟踪该领域的最新进展,我们在 https://github.com/pengboci/GraphRAG-Survey 建立了一个存储库。
GPT-4 [127]、Qwen2 [184] 和 LLaMA [31] 等大型语言模型的发展引发了人工智能领域的一场革命,从根本上改变了自然语言处理的格局。这些模型基于 Transformer [161] 架构构建,并在多样化和广泛的数据集上进行训练,在理解、解释和生成人类语言方面表现出了前所未有的能力。这些进步的影响是深远的,涉及各个领域,包括医疗保健 [103, 166, 203]、金融 [93, 125] 和教育 [46, 169],它们促进了人与机器之间更细致、更高效的交互。
尽管法学硕士具有出色的语言理解和文本生成能力,但由于缺乏特定领域的知识、实时更新的信息和专有知识,这些知识不属于法学硕士的预训练语料库,因此可能会表现出局限性。这些差距可能会导致一种称为“幻觉”的现象[61],即模型生成不准确甚至捏造的信息。因此,必须用外部知识来补充法学硕士,以缓解这一问题。检索增强生成(RAG)[34,45,59,62,178,195,202]作为一项重大演变而出现,旨在通过在生成过程中集成检索组件来提高生成内容的质量和相关性。 RAG 的本质在于它能够动态查询大型文本语料库,将相关事实知识纳入底层语言模型生成的响应中。这种整合不仅丰富了回复的上下文深度,而且确保了更高程度的事实准确性和特异性。 RAG因其卓越的性能和广泛的应用而受到广泛关注,成为该领域的重点关注对象。
尽管RAG取得了令人瞩目的成果并在各个领域得到了广泛应用,但它在现实场景中面临着局限性(1)忽视关系:在实践中,文本内容不是孤立的而是相互关联的。传统的 RAG 无法捕获仅通过语义相似性无法表示的重要结构化关系知识。例如,在论文通过引用关系链接的引用网络中,传统的 RAG 方法侧重于根据查询查找相关论文,但忽略了论文之间重要的引用关系。
(2)冗余信息:RAG经常以文本片段的形式叙述内容作为提示。这使得上下文变得过于冗长,导致“迷失在中间”的困境[104]。
(3)缺乏全局信息:RAG只能检索文档的子集,无法全面掌握全局信息,因此难以完成诸如查询聚焦摘要(QFS)等任务。
图检索增强生成(GraphRAG)[32,58,119]作为解决这些挑战的创新解决方案而出现。与传统的 RAG 不同,GraphRAG 从预先构建的图形数据库中检索包含与给定查询相关的关系知识的图形元素,如图 1 所示。这些元素可能包括节点、三元组、路径或子图,用于生成响应。 GraphRAG 考虑文本之间的互连,从而能够更准确、更全面地检索关系信息。此外,图数据(例如知识图)提供了文本数据的抽象和总结,从而显着缩短了输入文本的长度并减轻了对冗长的担忧。通过检索子图或图社区,我们可以获取全面的信息,通过捕获图结构内更广泛的上下文和互连来有效应对 QFS 挑战。
