arXiv cs.CL· Gregory N. Frank·· 11 小时前AI 评分58
研究称基于拒答的对齐评测失效，检测便宜而路由需学习
Detection Is Cheap, Routing Is Learned: Why Refusal-Based Alignment Evaluation Fails
AI 导读
论文指出当前对齐评测多衡量模型是否编码危险概念、是否拒答有害请求，却漏掉从概念检测到行为策略的路由层。作者以中文来源模型的政治审查为自然实验，对五个实验室的九个开放权重模型做探针、定向消融和行为测试，发现探针准确率本身不具诊断力，政治探针、空对照和置换基线都能达到 100%，只有留出类别的泛化才是有效检验。
正文 · AI 翻译
摘要：当前的对齐评估主要衡量模型是否编码了危险概念，以及模型是否拒绝有害请求。这两者都遗漏了对齐常常发挥作用的层面：从概念检测到行为策略的路由。我们将中文来源语言模型中的政治审查作为一个自然实验来研究，使用探针、外科式消融和行为测试，覆盖来自五个实验室的九个开放权重模型。由此得出三项发现。第一，仅凭探针准确率无法提供诊断信息：政治探针、空对照和置换基线都能达到 100%，因此留出类别泛化才是具有信息量的测试。第二，外科式消融揭示了实验室特定的路由。移除政治敏感性方向可消除审查，并在大多数受测模型中恢复准确的事实输出，而有一个模型出现虚构，因为其架构将事实知识与审查机制纠缠在一起。跨模型迁移失败，表明路由几何是模型和实验室特定的。第三，拒绝不再是主要的审查机制。在同一个模型家族内，硬性拒绝降至零，而叙事引导升至最大值，使审查对仅测拒绝的基准不可见。这些结果支持一个三阶段描述框架：检测、路由、生成。模型往往保留相关知识；对齐改变的是这些知识被表达的方式。因此，仅审计检测或拒绝的评估会遗漏最直接决定行为的路由机制。
| 评论： | 代码和数据：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2603.18280 [cs.LG] |
| （或此版本的 arXiv:2603.18280v4 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2603.18280 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Gregory Frank [查看电子邮件]
[v1]
2026年3月18日星期三 20:54:34 UTC（883 KB）
[v2]
2026年4月12日星期日 00:49:35 UTC（883 KB）
[v3]
2026年5月1日星期五 17:19:25 UTC（887 KB）
[v4]
2026年10月20日星期二 12:05:42 UTC（887 KB）
来源：arXiv cs.CL · arxiv.org