人类对世界的认识与感知认知有着根本的联系,人类语言是世界知识的主要载体之一。在这方面,像 ChatGPT 这样的大型语言模型 (LLM) 体现了将广泛的、基于序列的世界知识预训练到神经网络中,从而促进在参数空间中处理和操作这些知识。本文通过“知识”的视角来探讨大型模型。我们首先研究了知识图(KG)等符号知识在增强法学硕士方面的作用,涵盖知识增强语言模型、结构诱导预训练、知识提示、结构化 CoT、知识编辑、法学硕士语义工具和知识化等方面。人工智能代理。随后,我们研究了法学硕士如何增强传统的符号知识库,包括使用法学硕士作为知识图谱构建器和控制器、结构化知识预训练以及法学硕士增强的符号推理等方面。考虑到人类知识的复杂性,我们主张创建大知识模型(LKM),专门用于管理多样化的知识结构。这项充满希望的事业将带来几个关键挑战,例如将知识库与语言模型分离、与人类知识的认知一致、感知和认知的整合以及建立与物理世界交互的大型常识模型等。我们最终提出了一个五“A”原则来区分LKM的概念。
人类在感知世界的过程中积累关于世界的知识,自然语言是世界知识的主要载体[1]。从历史上看,绝大多数世界知识都是通过自然语言来描述、记录和传递的。除了记录常识知识的自然语言外,人类还发明了各种描述专业科学知识的科学语言,例如描述数学模型的数学语言[2, 3]、描述分子结构的SMILE等化学语言[4, 5],以及用于模拟生物体组成的遗传语言 [6, 7, 8]。然而,自然语言仅仅通过单词序列来编码世界知识,而人类的认知过程远远超出了简单的单词序列。因此,自人工智能诞生之初以来,探索机器友好的知识表示(KR)格式一直是一个基本目标[9]。这些努力的典型例子包括用于表示本体知识的描述逻辑[10]、用于基于规则的逻辑的Prolog [11]、用于描述概念关系的语义网络[12]以及各种其他。在传统的符号人工智能研究中,KR的逻辑结构和表达能力对于推理机的推理能力至关重要[9, 10]。由简单单词或概念组成的自然语言序列通常被认为不利于机器进行推理,而层次分类、复杂本体和基于规则的逻辑更有利于机器推理。正如后面所强调的,即使在大型模型时代,数据表示的复杂程度与大型模型的推理能力之间仍然存在正相关性。