arXiv cs.AI· Keuntae Kim, Yong Suk Choi·· 1 天前AI 评分58
潜意识强化学习：模型特质可经裁判打分传递
Subliminal Reinforcement Learning: traits travel through a judge's scores
AI 导读
arXiv 论文提出“潜意识强化学习”，显示在仅使用自身输出和语言模型裁判打分的 group relative policy optimization 后训练中，模型特质仍可传递。
正文 · AI 翻译
摘要：阈下学习，即模型的某种特质通过不含其语义痕迹的数据进行传递，已在学生模型基于教师模型文本训练的场景中得到证实。后训练依赖于带有语言模型评判者的组相对策略优化，其中学生模型仅从自身输出和单一评判者的评分中学习。我们证明这已足够：学生模型写出自创的音节或数字，一个被设定为偏好某种动物的评判者为其打分，与评判者偏好另一种动物的运行相比，学生模型的偏好会向该动物偏移。在 48 个设计单元中，两个未通过有效性门槛，17 个在 5% 错误发现率下确立了该特质，其中包含仅含数字的单元；其余情况我们的解释给出了原因。仅移除评判者之间的奖励差异即可消除传递。我们将该原理确立为四个阶段的链条：特质必须体现在评判者的评分中，偏好能推动学生模型的字符串，累积并到达答案。由其他数据或另一模型构建的具有相同偏好的评判者，会将其置于其他字符串上，此时检测不到传递。原样应用于 AI 安全倾向时，该链条依然成立：不良倾向会到达学生模型的答案，训练前测量的各阶段可预判其出现位置，有助于预防部分此类风险。
| 评论： | 37 页，4 幅图，2 张表，2 幅扩展数据图，6 张扩展数据表；含补充信息。代码与数据：此 https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.41301 [cs.AI] |
| （或 arXiv:2610.41301v1 [cs.AI] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.41301 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Keuntae Kim [查看邮箱]
[v1]
2026 年 10 月 30 日星期五 06:02:21 UTC（312 KB）
来源：arXiv cs.AI · arxiv.org