arXiv cs.AI· Xuyuan Liu, Xinshuai Dong, Elynn Chen, Yujun Yan·· 12 小时前AI 评分34
LoGIST:用逻辑结构引导推理,构建逻辑不变的 LLM
When Form Changes but Logic Doesn't: Building Logic-invariant LLMs through Logical Structure
AI 导读
研究提出 LoGIST 框架,将每个输入映射为决策图并编码成逻辑嵌入向量来引导 LLM 推理,从而减少模型在逻辑等价输入上的预测不一致,并提升对未见逻辑形式的泛化能力。系统评测显示,即便是强 LLM 也难以在逻辑等价输入间保持一致预测。该工作已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要:大语言模型(LLM)在各类推理任务中取得了强劲表现,但这种表现究竟反映了对底层逻辑结构的理解,还是依赖于浅层语义线索,目前仍不清楚。判断这种理解的一个关键指标是模型能否一致地处理逻辑等价的输入,即在表达方式不同的情况下给出相同的预测。通过对精选数据进行系统评估,我们发现即便是强大的 LLM 也常常无法通过这一测试:它们无法在逻辑等价的输入之间一致地保持预测结果,并且对未见过的逻辑形式泛化能力较差。为解决这一局限,我们提出了逻辑结构引导推理(LoGIST),一个以显式逻辑结构引导 LLM 推理的框架。LoGIST 将每个输入实例映射为一个决策图——一种刻画底层逻辑结构的有向无环图,并将该图编码为逻辑嵌入,用以调节 LLM 的推理过程。在多种训练设置下,LoGIST 减少了逻辑等价条件下的不一致性,并提升了对未见逻辑形式的泛化能力,这表明逻辑不变性是构建更稳健、更具泛化能力的 LLM 逻辑推理的一个有用目标。
| 评论: | 已被 NeurIPS 2026 接收,24 页 |
| 主题: | 人工智能(cs.AI) |
| 引用格式: | arXiv:2610.25402 [cs.AI] |
| (或本版本使用 arXiv:2610.25402v2 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2610.25402 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Xuyuan Liu [查看邮箱]
[v1]
2026 年 10 月 18 日(周日)16:56:21 UTC(1,165 KB)
[v2]
2026 年 10 月 21 日(周三)02:10:00 UTC(1,165 KB)
来源:arXiv cs.AI · arxiv.org