arXiv cs.CL· Guowei Xu, Mert Yuksekgonul, James Zou·· 10 小时前AI 评分38
大语言模型中的稀疏奖励子系统
Sparse Reward Subsystem in Large Language Models
AI 导读
研究发现 LLM 隐藏状态中的奖励相关信息集中在稀疏的神经元子集上，通过简单探针可识别出两类神经元：激活值预测状态价值的 value neurons，以及编码步级时序差分（TD）误差的 dopamine neurons，二者共同构成 LLM 隐藏状态中的稀疏奖励子系统。
正文 · AI 翻译
摘要：近期研究表明，LLM 隐藏状态编码了与奖励相关的信息，例如答案正确性和模型置信度。然而，现有方法通常在全量隐藏状态上拟合黑盒探针，难以揭示这些信息在神经元层面是如何组织的。本文表明，奖励相关信息集中于一个稀疏的神经元子集。借助简单的探针方法，我们识别出两类神经元：价值神经元，其激活可预测状态价值；以及多巴胺神经元，其激活编码步级时序差分（TD）误差。这些神经元共同构成了 LLM 隐藏状态中的一个稀疏奖励子系统。这些命名类比自神经科学：生物奖励子系统中的价值神经元和多巴胺神经元也分别编码价值和奖励预测误差。我们证明价值神经元具有鲁棒性，并可在多种数据集和模型间迁移，同时提供因果证据表明它们编码了奖励相关信息。最后，我们展示了该奖励子系统的应用：价值神经元可作为模型置信度的有效预测器，多巴胺神经元则可充当过程奖励模型（PRM）来指导推理时搜索。我们的代码见 此 https URL。
| Comments: | NeurIPS 2026 |
| Subjects: | 计算与语言（cs.CL） |
| Cite as: | arXiv:2602.00986 [cs.CL] |
| （或 arXiv:2602.00986v3 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2602.00986 由 DataCite 颁发的 arXiv DOI |
Submission history
来自：Guowei Xu [查看邮箱]
[v1]
2026年2月1日 周日 02:55:31 UTC（1,397 KB）
[v2]
2026年5月11日 周一 05:42:58 UTC（1,405 KB）
[v3]
2026年11月4日 周三 14:15:27 UTC（1,483 KB）
来源：arXiv cs.CL · arxiv.org