arXiv cs.AI· Pratyay Dutta, Kowshik Thopalli, Vivek Narayanaswamy·· 10 天前AI 评分30
COMPASS：在语言模型中定位推理能力所在
COMPASS: Finding Where Reasoning Lives in Language Models
AI 导读
COMPASS 是一种推理时激活引导方法，利用模型自身直接作答的正确性信号定位可干预的注意力头，并沿正确性方向引导其激活。在三个模型家族和多个数学基准上，该方法平均将 GSM8K 准确率提升 16 个百分点，并以少 20-70% 的生成 token 接近 CoT 准确率。干预无需重新拟合即可迁移到未见基准，效果集中在极少数注意力头上。
正文 · AI 翻译
摘要：显式地引出推理能显著提升 LLM 的性能。现有方法需要对推理进行预定义刻画，无论是通过 CoT 提示设计、对比式 CoT 方向，还是通过 SAE 导出的推理特征。对于具有可验证答案的数学推理，我们表明一个更简单的信号就足够了，即模型自身直接作答尝试的正确性。该信号产生一个能引出推理的潜在方向。这个方向在大多数注意力头的激活中都可解码，但只有一小部分头能被有效干预。我们提出 COMPASS，一种推理时引导方法，它使用 logit 空间归因分数识别这些头，并沿正确性方向引导其激活，仅需每个头的激活统计量。在三个模型系列和多个数学基准上，COMPASS 优于我们对比的激活引导基线，将 GSM8K 准确率平均提升 16 个百分点，并以少 20-70\% 的生成 token 接近 CoT 准确率。干预无需重新拟合即可迁移到未见过的基准，消融实验表明正确性方向和承载它的一小部分头都是必要的，且效果集中在极少数头上。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.07469 [cs.AI] |
| （或使用 arXiv:2610.07469v2 [cs.AI] 获取此版本） | |
| https://doi.org/10.48550/arXiv.2610.07469 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Pratyay Dutta [查看邮箱]
[v1]
2026年10月5日星期一 22:35:47 UTC（213 KB）
[v2]
2026年10月7日星期三 07:10:38 UTC（213 KB）
来源：arXiv cs.AI · arxiv.org