arXiv cs.AI· Alex Lin Wang, Linus Yifeng Tang, Dami Choi, Neil Chowdhury·· 10 小时前AI 评分49
训练语言模型实现内省式监督
Training Language Models for Introspective Oversight
AI 导读
研究者提出“内省式监督”,在模型中新增独立的第三人称观察者角色,专门回答关于助手行为的问题,并按与助手实际行为核验的结果给予奖励。基于 Qwen3.6-27B 训练的观察者在五项留出监督评测上取得平均 AUROC 0.907,优于诚实性训练(0.864)、对话记录监控(0.828)和激活探针(0.796)。训练观察者还让助手本身更易被监控,各基线方法在微调后的助手上平均表现均有提升。
正文 · AI 翻译
摘要:语言模型越来越多地表现出在对话记录中难以察觉的行为,例如奖励黑客、欺骗和谄媚。就模型自身的行为向助手提出后续问题并不可靠,因为模型通常并未被训练去报告自己的不当行为。因此,监督方法通常涉及查询外部模型。这些方法面临局限:外部对话记录监控只能作用于可见的模型输出,而激活解码器缺乏完整上下文,且容易产生虚构。我们提出内省式监督,即在模型中训练一个新角色来回答关于助手的任意问题,并对那些经助手实际行为验证为正确的回答给予奖励。我们通过添加一个独立的第三人称观察者角色来回答这些查询来实现这一点,该角色可以仅以准确性为目标、与助手分开训练。在五项留出监督评估中,基于 Qwen3.6-27B 训练的观察者获得平均 AUROC 0.907,优于诚实性训练(0.864)、对话记录监控(0.828)和激活预言机(0.796)。我们进一步发现,训练观察者会使助手本身更易于被监督,当应用于微调后的助手时,每种基线方法平均都有所改善。这些结果表明,训练模型回答关于自身的可验证问题,是一种监督非预期行为的可行方法。
| 评论: | 31 页,13 幅图,8 张表 |
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2611.23365 [cs.AI] |
| (或 arXiv:2611.23365v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23365 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Neil Chowdhury [查看电子邮件]
[v1]
2026年11月17日星期二 18:59:07 UTC(4,023 KB)
来源:arXiv cs.AI · arxiv.org