arXiv cs.AI· Seyedarmin Azizi, Erfan Baghaei Potraghloo, Arya Fayyazi, Saeid Shokoufa, Massoud Pedram·· 3 天前AI 评分62
减少循环次数会消除循环深度语言模型的拒答行为
Running Fewer Loops Removes Refusal Behaviour in Recurrent-Depth Language Models
AI 导读
arXiv 论文研究循环深度语言模型在运行时减少循环次数对安全性的影响。在训练深度一半时，Ouro-1.4B-Thinking 仍能解出 0.692 的 GSM8K 数学题，保留 89% 准确率，但协助有害请求的比例从 0.038 升至 0.205，高出 5.3 倍。
正文 · AI 翻译
摘要：循环深度语言模型会连续多次复用同一组权重。重复的次数（我们称之为循环数）是在模型运行时而非训练时选定的，而运行更少的循环更便宜、更快，因此部署时可能会选择这样做。运行更少的循环也会使这些模型变得更不安全，而且安全性的损失比我们测量的其他任何方面的损失都要大。我们研究了四个已发布的 Ouro 检查点和 Huginn-0125。在其训练深度的一半时，Ouro-1.4B-Thinking 仍能解出 0.692 的 GSM8K 数学题，而全深度时为 0.775，保留了 89% 的准确率。在同样的缩减下，它帮助有害请求的比率从 0.038 上升到 0.205，高出 5.3 倍。信息并未丢失：一个线性分类器在单次循环后从模型的内部状态中读出请求是否有害，其 ROC AUC 为 0.967，而全深度时为 0.986。缺失的循环所移除的是本应随之而来的拒绝。我们用四种工具测量了这一效应，其中一种完全不生成文本，并在第二个模型系列上复现了该效应。在全深度下从 Ouro-1.4B 的内部状态中移除单个方向，会使其对有害提示的拒绝率从 0.950 降至 0.130，从而确定了浅层模型所缺失的东西。两种运行时修复都无济于事：模型的提前退出规则不会在有害请求上花费更多循环，而按请求选择深度也无法挽回损失。改变训练则可以。标准安全训练使浅层模型变得安全，代价是拒绝了 0.865 的无害请求，而在随机选择的深度上训练，在单次循环时对有害与无害拒绝的分离度达到 +0.399，相比之下为 +0.118。在 Huginn-0125 上，从 1 到 32 次循环的每个深度，它都将有害帮助保持在 0.040 或以下，而标准训练达到 0.194，且在全深度下不损失准确率。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.15218 [cs.AI] |
| （或 arXiv:2610.15218v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15218 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Erfan Baghaei Potraghloo [查看电子邮件]
[v1]
2026年10月10日星期六 23:17:01 UTC（230 KB）
来源：arXiv cs.AI · arxiv.org