arXiv cs.CL· Davide Baldelli, Robyn Kozierok, Mirko Bronzi, Damiano Fornasiere·· 3 天前AI 评分36
跨模型上下文神经反馈实验揭示 LLM 的（有限）激活控制能力
Cross-Model In-Context Neurofeedback Reveals (Limited) Activation Control in LLMs
AI 导读
研究者用上下文神经反馈实验测试十个开源模型（来自五个模型族，规模 9B 至 32B）能否控制自身激活值。在固定句子预填充条件下，十个模型中有三个表现出小幅但一致的激活控制效果；在欺骗监测器测试中，没有模型学会降低监测分数，但有一个模型能将其提高。作者认为，模型对自身激活的上下文控制目前尚不构成对激活监测器的威胁，但已在少数模型中出现，需随模型演进持续追踪。
正文 · AI 翻译
摘要：基于激活向量的探针被广泛用于检测语言模型中的不当行为，但其成功依赖于一个假设：模型无法控制其激活所编码的内容。人类可以通过神经反馈学会控制甚至单个神经元的放电，近期研究也探讨了这种能力是否延伸至语言模型，但得出了相互矛盾的结论。迄今为止，尚无实验设计能将任务能力与对自身激活的真正访问区分开来。我们通过上下文神经反馈会话填补了这一空白：在会话中，要求“受试”模型最大化（或最小化）由其激活得出的分数，并在每一轮将该分数反馈给它。在我们的第一个实验中，句子要么由受试模型生成，要么由第二个“写作者”模型生成，而分数始终来自受试模型的激活。我们测试了来自五个家族的十个开放权重模型，规模从 9B 到 32B。一些模型能显著改变自己的分数，但并不比能力相当的写作者改变得更多。这是因为该任务不需要特权访问，还是因为受试模型在处理句子时——无论句子由谁撰写——控制了自己的激活？为回答这一问题，我们在每一轮预填一个固定句子作为受试模型的回复，并要求它提高或降低分数。十个模型中有三个表现出微小但一致的控制效应。我们进一步追问，模型能否控制其激活，甚至达到欺骗激活监控器的程度。我们让模型重复监控器会标记的句子，例如针对欺骗监控器的欺骗性回答，并要求它们提高或降低监控器的分数。没有模型学会降低分数，但有一个模型能够提高分数。对模型自身激活的上下文控制或许尚未对激活监控器构成威胁，但它在少数模型中确实存在，并且随着模型演进需要持续追踪。
| 评论： | 29 页，11 幅图，5 张表。代码与数据：此 https URL |
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.20179 [cs.CL] |
| （或 arXiv:2610.20179v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20179 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
发件人：Davide Baldelli [查看电子邮件]
[v1]
2026 年 10 月 14 日星期三 13:24:26 UTC（512 KB）
来源：arXiv cs.CL · arxiv.org