arXiv cs.AI· Elias Sandmann, Sebastian Lapuschkin, Wojciech Samek·· 13 小时前AI 评分48
Leela Chess Zero 研究发现：学到的先验会覆盖神经网络中的前瞻计算
The Algorithm Is Not the Behavior: Learned Priors Override Look-Ahead in a Chess-Playing Neural Network
AI 导读
研究者在 Leela Chess Zero 的走子策略网络中发现“被遗忘的谜题”现象：正确解法（含一步将杀）常出现在中间层，却在最终输出中被系统性覆盖。复制此前分析显示前瞻机制本身正常运作，正确后续走法仍被表征且具因果作用；通过反向引导模型偏好，可恢复 71.7% 的被遗忘谜题，表明安全偏好压过了算法计算出的解。
正文 · AI 翻译
摘要：近期的机制性研究揭示了神经网络内部学习到的算法，从模运算到游戏智能体中的搜索与规划。但算法结构是否就能保证算法行为？我们在 Leela Chess Zero 中对此进行了研究，这是最强的神经国际象棋引擎，此前的工作在其中识别出了学习到的前瞻能力。通过将 logit lens 扩展到其走子选择策略网络，我们发现正确的谜题解法——包括立即将死——常常出现在中间层，但在最终输出中被系统性地覆盖，我们将这一现象称为“被遗忘的谜题”。在这些局面上复现此前的分析，我们发现前瞻能力运作正常——正确后续走法的未来走子被表示、具有因果重要性且可线性解码——从而排除了算法失效的可能。相反，靠后的层越来越多地转向安全走法而非激进走法。为检验这种转变是否驱动了覆盖，我们引导模型对抗这些偏好，并恢复了 71.7% 的被遗忘谜题，提供了安全先验覆盖算法计算所得解的因果证据。这些发现表明，算法结构并不保证算法行为：模型可以在内部解决一个问题，却仍然输出错误答案。
| 评论： | NeurIPS 2026（口头报告） |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2508.21380 [cs.LG] |
| （或本版本使用 arXiv:2508.21380v4 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2508.21380 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Elias Sandmann [查看邮箱]
[v1]
2025年8月29日星期五 07:51:45 UTC（4,230 KB）
[v2]
2025年11月25日星期二 13:55:48 UTC（13,555 KB）
[v3]
2026年6月10日星期三 10:31:06 UTC（38,855 KB）
[v4]
2026年10月29日星期四 12:22:54 UTC（37,512 KB）
来源：arXiv cs.AI · arxiv.org