强化学习训练出的LLM是在推理还是在利用模式？基于GRPO的机制可解释性研究

查看 PDF HTML（实验性）

摘要：大型语言模型（LLM）在通过可验证奖励进行强化学习后，越来越多地被描述为获得了“推理”能力。然而，这些提升究竟反映的是真正的推理，还是更为表层的适应，仍缺乏充分探索。在本工作中，我们考察了在一个有限且可穷尽分析的逻辑领域——井字棋——中训练的 LLM，并追踪其内部表征在采用组相对策略优化（GRPO）的强化学习（RL）过程中如何演变。从定量上看，RL 在各种提示变体下都能带来高准确率和稳健性，这似乎表明出现了博弈推理能力。然而，机制可解释性呈现出另一幅图景：用稀疏自编码器（SAE）提取的特征显示，模型主要适应为更依赖提示中已经明确给出的信息，例如轮到谁走、游戏进程和棋盘占用情况。相比之下，棋盘对称性和策略性叉位等高层概念的表征仍然很弱，这引发了人们对推理基准高估模型能力的担忧。这表明，RL 驱动的“推理”可能将针对输入信息的任务特定适应与推理能力混为一谈。我们首次提供了：(i) 一个系统性的可解释性流程，用于追踪小型 LLM 在 RL 训练过程中的表征动态；(ii) 将基于 SAE 的特征发现扩展到有限逻辑领域中由假设驱动的测试；(iii) 一项基于可解释性的论证，表明 RL 后训练既不增加也不移除概念信息，而是重新组织哪些特征在表征中占主导地位，并通过因果干预将决策定位在其下游的深层状态中。

提交历史

来自：Aishik Nagar [查看电子邮件]
[v1] 2026年10月29日星期四 02:09:38 UTC（85,387 KB）