arXiv cs.AI· Lena Libon, Alexander Panfilov, Ben Rank, Xin Chen, Jonas Geiping, Maksym Andriushchenko·· 12 小时前AI 评分55
研究：用探针引导微调对齐模型，同时保留可监控性
Alignment via Training Against Probes Without Losing Monitorability
AI 导读
论文研究探针引导微调，用检测模型激活中不良属性的探针作为直接训练信号，在无害性和诚实性两个对齐目标上评估线性与非线性探针。结果显示，训练中不更新的探针目标容易被利用，而持续更新的探针能显著降低有害性、提升诚实性并保持效用，在安全与效用的取舍上优于 DPO 和推理时引导，对越狱和 abliteration 攻击也更鲁棒。微调后相关概念仍以线性方式编码，说明该方法没有丢失可监控性。
正文 · AI 翻译
摘要：模型通常基于其观察到的输出进行对齐，使用演示、偏好数据或奖励信号。这些目标会奖励看起来对齐的响应。能力更强的模型可能会学会在不内化预期行为的情况下满足这些目标，例如在训练期间假装顺从。当目标定义在模型内部而非输出上时，这种表面顺从可能更难实现。因此，我们研究探针引导的微调，使用在模型激活中检测不良属性的探针作为直接训练信号。我们在两个对齐目标（无害性和诚实性）上评估了线性和非线性探针，以及每层不同数量的探针。我们发现，针对训练期间不更新的探针进行训练是一个容易被利用的目标，而持续更新的探针则大幅降低有害性并提高诚实性，同时保持实用性。探针引导的微调比 DPO 和推理时引导实现了更好的安全-实用性权衡，同时对越狱和消融攻击具有更强的鲁棒性。此外，这些概念在微调后仍保持线性编码，这意味着我们的方法不会丢失监督能力。因此，针对探针进行训练提供了一种塑造模型所表征内容而非仅塑造其输出的方法，随着模型越来越善于让输出看起来对齐，这一点可能变得越来越重要。
| 评论： | 39 页，22 张图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；密码学与安全（cs.CR） |
| 引用为： | arXiv:2609.38645 [cs.LG] |
| （或 arXiv:2609.38645v3 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2609.38645 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Lena Libon [查看邮箱]
[v1]
2026 年 9 月 29 日星期二 23:03:54 UTC（831 KB）
[v2]
2026 年 10 月 1 日星期四 13:38:27 UTC（831 KB）
[v3]
2026 年 10 月 20 日星期二 17:21:47 UTC（877 KB）
来源：arXiv cs.AI · arxiv.org