arXiv cs.AI· Javier Porras-Valenzuela, Arush Arora, Alejandro Ribeiro·· 11 小时前AI 评分31
用可学习图位置编码扩展语言模型的图推理能力
Scaling Graph Reasoning in Language Models with Learnable Graph Positional Encodings
AI 导读
研究者提出用可学习的图位置编码增强语言推理模型（LRM），通过 GNN 加 Graph Transformer 计算位置编码并调制注意力 logits，省去序列化邻接表，将上下文负担降至 O(N)。位置编码器与 LRM 的 LoRA 适配器用图论求解器生成的最优解联合微调，在小图上训练后可在最多 1,000 个节点的图上提升尺寸泛化能力，且生成 token 少于传统 LRM，对节点重标记保持稳健。
正文 · AI 翻译
摘要：解决图上的推理任务通常需要向语言推理模型（LRM）提供图的序列化描述。这种方法会导致输入长度随边数增长，从而限制了可解决问题的规模。此外，即使图能放入上下文，性能也会随图的增大而急剧下降。我们提出通过为 LRM 增强可扩展且置换等变的图位置编码来调节注意力 logits，从而解决这一问题。一个额外的后融合式模块将结构信息融入隐藏状态。我们使用 GNN 后接 Graph Transformer 来计算这些位置编码。这消除了对序列化邻接关系的需求，将上下文负担降低至 $O(N)$。我们使用图论求解器生成的最优解联合微调位置编码器和 LRM LoRA 适配器，从而得到一种计算高效的方法。在小图上训练后，该模型在多达 1,000 个节点的图上跨图论任务展现出更好的规模泛化能力，并且生成的 token 数少于传统 LRM。此外，我们观察到我们的模型对节点重标记保持稳健。在图论基准上的评估还表明，小图上的性能得以保留。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.27439 [cs.LG] |
| （或 arXiv:2610.27439v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27439 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Javier Porras-Valenzuela [查看邮箱]
[v1]
2026年10月20日星期二 00:39:49 UTC（400 KB）
来源：arXiv cs.AI · arxiv.org