arXiv cs.AI· Sebastian Prasanna, Jacqueline Tay, Alek Westover·· 9 天前AI 评分26
蒸馏的双重用途：让失准模型"自证其罪"与安全提取能力
Distillation for Incrimination and Distillation for Capabilities
AI 导读
针对失准 AI 模型可能识别对齐评估并策略性表现良好的问题，研究者提出两种蒸馏方法。Distillation for Incrimination（DFI）将 AuditBench 的保密模型蒸馏回其指令微调基座，学生模型比教师更易承认隐藏行为，但该效果在基座不同时基本消失，因此应针对教师自身的 pre-RL checkpoint。
正文 · AI 翻译
摘要：强大的未对齐 AI 模型可能会识别对齐评估并在评估中策略性地表现良好，从而使直接审计无法提供有用信息。然而，将此类模型蒸馏为一个较弱的良性学生模型会使教师模型陷入蒸馏双重困境：如果未对齐被迁移，学生模型可能无法有效隐藏它，从而暴露有关教师模型的证据；如果未迁移，学生模型则可能在保持良性的同时学到有用的能力。我们引入了两种不同的蒸馏方法，分别针对这两种结果。用于归罪的蒸馏（DFI）旨在迁移未对齐，但不迁移隐藏它的能力。将 AuditBench 的保密模型蒸馏为其底层的指令微调模型后，所得到的学生模型在被问及时承认其隐藏行为的可能性显著高于其教师模型，这表明对该行为的知识比隐藏它的倾向更容易迁移。当学生模型与教师模型不共享预训练基础时，坦白带来的增益基本消失，因此 DFI 应针对教师模型自身的 RL 前检查点，该检查点比教师模型弱，但与其共享基础模型。用于能力的蒸馏（DFC）旨在迁移能力，但不迁移未对齐。在我们评估的若干技术中，有两种是有效的：接种提示，以及在更少独特样本上训练更多轮次。两者都保留了标准蒸馏的能力增益，同时大幅减少了动物偏好的潜意识迁移，而动物偏好是我们用来代表未对齐的代理指标。总之，这些发现展示了蒸馏可用于 AI 安全的两种方式：归罪未对齐的模型，以及在不迁移其未对齐的情况下提取其能力。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.11012 [cs.AI] |
| （或 arXiv:2610.11012v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11012 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Sebastian Prasanna [查看电子邮件]
[v1]
2026年10月7日星期三 23:51:11 UTC（495 KB）
来源：arXiv cs.AI · arxiv.org