文本图的丰富文本和拓扑信息需要在网页、电子商务和学术文章等现实应用中进行建模。从业者长期以来一直遵循采用浅层文本编码器和随后的图神经网络(GNN)来解决这个问题的道路。鉴于大型语言模型 (LLM) 的最新进展,显然,集成 LLM 来增强文本编码可以显着提高文本图的性能。然而,这些方法的效率提出了重大挑战。在本文中,我们提出了 ENGINE,一种使用 LLM 编码器对文本图进行参数和内存高效微调的方法。关键的见解是通过可调节的侧面结构将 LLM 和 GNN 结合起来,这在不损害联合模型容量的情况下显着降低了训练复杂性。对文本图的大量实验证明了我们的方法的有效性,实现了最佳模型性能,同时与以前的方法相比具有最低的训练成本。此外,我们引入了两种具有缓存和动态提前退出的变体,以进一步提高训练和推理速度。具体来说,缓存将 ENGINE 的训练速度提高了 12 倍,动态提前退出将推理速度提高了 5 倍,而性能下降可以忽略不计(7 个数据集的相关下降最多为 1.17%)。
文本图在现实世界中普遍存在,例如学术网络 [Wang et al., 2020]、网页 [Mernyei and Cangea, 2020] 和电子商务数据集 [Chiang et al., 2019]。在早期阶段,浅嵌入方法[Mikolov et al., 2013;张等人,2010] 和图神经网络 [Kipf 和 Welling,2017;汉密尔顿等人,2017; Veliˇ ckovi ́ c et al., 2018] 结合起来分析和处理这些数据,如图 2a 所示。然而,静态浅嵌入方法很难捕获上下文感知信息和复杂的语义关系,限制了它们利用丰富文本属性的能力,特别是在图形任务中。
ChatGPT [OpenAI, 2023]、LLaMA2 [Touvron et al., 2023] 和 Falcon [Almazrouei et al., 2023] 等大型语言模型 (LLM) 最近展示了在理解语言方面的巨大潜力,有效捕捉了语言的语义丰富性。文本属性。这一成功促使研究人员利用文本图的法学硕士来提高性能。一些作品 [Chien et al., 2021;他等人,2023b; Duan et al., 2023]探索语言模型(LM)在文本图上的应用,以提高节点性能真实。这些特征随后由 GNN 聚合以生成最终表示,如图 2b 所示。然而,正如许多先前的研究人员所指出的,这些方法[Zhao et al., 2022;薛等人,2023; Pan et al., 2024b],可能不是最优的:节点的文本和结构特征由 LLM 和 GNN 在两个不同阶段分别编码。这个问题的一个明显的解决方案是联合训练 LM 和 GNN,但这种选择带来了效率挑战,因为训练和推理过程中的内存和时间复杂度对于机构和客户来说可能变得过于昂贵。
这项工作旨在提供一种高效且有效的解决方案,以实现文本图上文本和拓扑信息的联合建模。我们提出了一种针对文本图上的大型语言模型的高效调优算法,名为 ENGINE,以解决上述挑战。如图 2d 所示,在训练过程中,我们冻结了 LLM 的参数,并在 LLM 的每一层旁边添加了一个微小的可调梯子 (G-Ladder)。在每个G-Ladder中,我们采用消息传递来整合结构信息,从而提高节点表示的质量。 G-Ladder 背后的关键思想是仅更新极小部分参数,从而显着减少内存消耗。此外,由于ENGINE的参数更新不依赖于LLM的梯度计算,这使得我们可以预先计算节点嵌入,将它们存储在缓存中以供后续重用,从而显着降低训练过程中的时间复杂度,如图1所示在推理阶段,LLM 引起的延迟通常很高,我们在每个梯子后引入一个早期退出运算符,以加快推理过程。这种变体被称为 ENGINE(早期),有助于节点嵌入编码的动态提前退出,加速推理并减轻过度思考的风险 [Zhou et al., 2020]。通过大量的实验,我们的方法展示了与各个领域的文本图基线相比的 SoTA 性能。与现有的基于 LLM 的方法相比,我们提出的框架显着提高了训练效率并减少了推理延迟。这表明在文本图分析中将 LLM 与 GNN 结合起来是一个有前途的方向。
我们的贡献可以总结为:
• 我们提出了一种名为 ENGINE 的文本图上的 LLM 的内存和时间高效调整方法。 LLM 和 GNN 通过可调节的侧面结构相结合,显着降低了训练复杂性,同时又不损害联合模型的能力。
• 提出了两个额外的 ENGINE 变体,以进一步改进训练和推理:
(i)ENGINE(缓存)预先计算训练样本的节点嵌入,将它们放入缓存中,并在训练期间重用它们; (ii)动态提前退出动态确定是否退出LLM层的前馈并返回预测。
• 大量的实验证明了我们的方法的有效性,与以前的方法相比,训练成本最低。此外,带有缓存的 ENGINE 将训练时间加快了 12 倍,并且 ENGINE (Early)
在 7 个数据集上,推理速度提高了 5 倍,最大性能略有下降 1.17%。
文本图的表示学习在图机器学习领域获得了极大的关注。而不是像之前的作品中那样仅仅依赖于浅层或手工制作的特征(例如,词袋、skip-gram)[Kipf 和 Welling,2017; Veliˇ ckovi ́ c 等人,2018;汉密尔顿等人,2017;朱等人,2023a;朱等人,2023b; Zhu et al., 2023c],基于 LM 的方法利用语言模型 (LM) 的潜在力量来处理文本图。这些方法将 LM 和 GNN 以级联(图 2b)或迭代结构(图 2c)结合起来。具体来说,在级联结构方法中,第一步涉及对下游任务的预训练语言模型进行微调。随后,这些经过微调的模型被用来生成文本嵌入,作为 GNN 的初始节点特征。例如,GIANT [Chien et al., 2021] 通过使用邻居信息微调 LM 来增强节点嵌入的意义。 SimTeG [Duan et al., 2023] 采用两阶段训练范例:首先通过图相关任务(例如节点分类、链接预测)微调 LM,随后根据 LM 生成的嵌入来训练 GNN。 TAPE [He et al., 2023b] 利用 LLM 来增强文本描述,并根据这些增强的文本微调 PLM。后续步骤涉及使用微调的 PLM 生成文本嵌入,作为 GNN 的初始节点属性。这些方法仅对部分信息进行建模,限制了它们学习综合特征的能力。
GraphFormers [Yang et al., 2021]、GLEM [Zhao et al., 2022] 和 LEADING [Xue et al., 2023] 没有采用级联结构,而是将 LM 和 GNN 以迭代或协同训练结构结合起来,以联合训练的方式训练 LLM 和 GNN。然而,这些协同训练范例面临着重大的可扩展性问题。由于语言模型中存在大量参数,通过语言模型对所有邻居进行编码会带来高成本的微调和推理开销。为了解决这些重要的挑战,我们建议将 LM 和 GNN 结合在一个侧面结构中,如图 2d 所示。我们引入了一种新颖的方法,旨在为文本图上的 LLM 实现参数和内存高效的调整方法,名为 ENGINE。
最近,大型语言模型(LLM)在 NLP 领域取得了显着的成功 [OpenAI,2023; Touvron 等人,2023]。 PEFT 方法旨在使大型预训练模型适应各种下游应用,而无需因成本高昂而微调所有参数。例如,基于适配器的方法 [Houlsby et al., 2019] 将轻量级神经网络(适配器)注入 Transformer 层,并专门微调这些适配器以进行模型适应。 LoRA [Hu et al., 2021] 假设模型调整期间权重变化的内在等级较低。提出优化原始权重的分解self-attention模块中的矩阵,在部署时乘以优化矩阵以获得selfattention权重的delta,从而显着减少需要微调的参数。类似地,IA3 [Liu et al., 2022] 通过逐元素乘法修改键和值的注意力权重以及前馈激活。基于提示的调优 [Lester et al., 2021;李和梁,2021; Pan et al., 2023] 在输入文本中添加可训练的软提示,同时保持整个预训练模型不变。虽然大多数方法主要侧重于通过调整少量参数(参数高效)来实现有竞争力的性能,但它们在内存效率方面往往达不到要求。阶梯侧调整 (LST) [Sung et al., 2022] 通过训练阶梯侧网络来解决此问题,该网络将可训练参数与主干模型分开。由于 LST 不需要通过主干网络 (LM) 进行反向传播,因此可以显着降低内存需求。
尽管PEFT在包括自然语言和计算机视觉在内的欧几里得领域取得了巨大成功[Jia et al., 2022;他等人,2023a; Pan et al., 2024a],如何有效且高效地将此类方法应用于图等非欧几里得领域仍在探索中。主要挑战在于缺乏如何充分利用结构信息来增强节点级表示的经验。在这项工作中,我们提出了一种针对文本图上的 LLM 的有效调整方法,名为 ENGINE,它显式地利用结构信息并通过我们设计的轻量级 G-Ladder 增强节点级表示。