arXiv cs.CL· Hongxiang Zhang, Yuan Tian, Tianyi Zhang·· 11 小时前AI 评分31
ATAR：面向大语言模型的注意力对齐推理方法
Attention-Aligned Reasoning for Large Language Models
AI 导读
研究者提出 ATAR 推理方法，利用推理链固有结构引导 LLM 注意力，在六个基准上超越 SOTA 方法，最高取得 15.39% 的绝对提升。使用 ATAR 后，同规模的“非推理”模型在多数基准上达到甚至超过推理模型的表现。消融实验显示注意力对齐组件贡献显著，且改进在不同注意力引导后端下均保持有效。
正文 · AI 翻译
摘要：大型语言模型（LLM）在解决复杂任务时往往会生成较长的推理链。然而，随着推理链的延长，关键的中间步骤和原始提示会被埋没在上下文中，得不到足够的关注，从而导致错误。在本工作中，我们提出了 ATAR，一种利用固有推理结构来引导 LLM 注意力的新型推理方法。我们的实验表明，ATAR 在六个基准上优于 SOTA 方法，绝对提升最高达 15.39%。此外，借助 ATAR，“非推理”模型在大多数基准上取得了与同等规模推理模型相当甚至更好的性能。最后，我们的消融研究表明，注意力对齐组件贡献显著，且这些改进在不同的注意力引导后端下均能持续存在。
| 评论： | EMNLP 2026（Findings） |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2510.03223 [cs.CL] |
| （或 arXiv:2510.03223v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2510.03223 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hongxiang Zhang [查看邮箱]
[v1]
2025年10月3日星期五 17:56:33 UTC（791 KB）
[v2]
2026年3月27日星期五 17:14:20 UTC（1,086 KB）
[v3]
2026年10月20日星期二 17:39:02 UTC（1,101 KB）
来源：arXiv cs.CL · arxiv.org