arXiv cs.CL· Tianjun Zhong, Linyang He, Ziyang Li, Nima Mesgarani·· 11 小时前AI 评分34
LLM 用 DAG 推理：探测推理的潜在图结构
LLMs Think with DAGs: Probing the Latent Graph Structure of Reasoning
AI 导读
研究提出 Reasoning DAG Probing，将每个前提、中间结论和最终答案形式化为 DAG 节点，用轻量探针从 LLM 隐藏状态预测节点深度、成对距离和邻接关系。在逻辑、数学和代码推理基准上，DAG 结构在中间层编码最强，后层更倾向恢复深层节点和长程依赖，且随模型规模增强。将激活导向真实 DAG 结构可将部分原本错误的生成转为正确。
正文 · AI 翻译
摘要：大语言模型通常将推理外化为线性链，但许多推理问题可以更自然地建模为有向无环图（DAG），其中中间结论会分支、合并并被复用。这种图结构是否反映在模型内部仍不清楚。我们提出 Reasoning DAG Probing 来回答这个问题。我们将每个前提、中间结论和最终答案形式化为一个 DAG 节点，并训练轻量级探针从 LLM 隐藏状态中预测节点深度、成对距离和邻接关系。在逻辑、数学和代码推理基准上，我们发现 DAG 结构在 LLM 表示中得到了有意义的编码：它在中间层达到峰值，较晚的层优先恢复更深的节点和更长程的推理依赖，并且随模型规模增大而变得更强。DAG 结构还在自回归生成过程中逐步涌现，其方式能够预示答案的正确性；而将激活导向真实 DAG 结构，可以将一些原本错误的生成转化为正确的生成。这些结果表明，LLM 推理并非纯粹顺序的，而是反映了可测量的潜在图结构。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2601.17593 [cs.CL] |
| （或 arXiv:2601.17593v4 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.17593 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tianjun Zhong [查看邮箱]
[v1]
2026年1月24日星期六 21:11:51 UTC（650 KB）
[v2]
2026年4月5日星期日 23:42:54 UTC（1,903 KB）
[v3]
2026年8月7日星期五 20:09:31 UTC（918 KB）
[v4]
2026年10月15日星期四 18:09:02 UTC（653 KB）
来源：arXiv cs.CL · arxiv.org