arXiv cs.CL· Yejin Lee, Ungsik Kim, Yo-Sub Han·· 12 小时前AI 评分31
扩散语言模型安全生成的自适应引导与重掩码方法
Adaptive Steering and Remasking for Safe Generation in Diffusion Language Models
AI 导读
研究者提出一种推理时防御框架，将自适应安全引导与安全感知重掩码结合，用于扩散语言模型（DLM）的安全生成。该方法用门控方向根据当前去噪状态持续调整引导强度，并在首个生成块后接入轻量响应检测器，早期识别不安全轨迹并对生成内容及部分条件提示词做定向重掩码。在 LLaDA 和 Dream 上的实验显示，该方法提升了对多种越狱攻击的鲁棒性，同时保持良性生成质量与通用模型能力，且无需修改模型参数。
正文 · AI 翻译
摘要：扩散语言模型（DLMs）通过迭代去噪和双向生成，为自回归语言模型提供了一种有前景的替代方案。然而，其迭代生成过程引入了独特的安全漏洞，因为有害内容可能出现在任意位置，并在后续去噪步骤中持续存在。现有防御依赖固定干预或激进的重掩码，这限制了对去噪轨迹的自适应控制，并可能降低生成质量。我们提出了一种推理时防御框架，将自适应安全引导与安全感知重掩码相结合。我们的方法使用门控方向，根据当前去噪状态持续调整引导强度，并将引导方向应用于被掩码的位置，以引导后续预测走向更安全的轨迹。我们的方法还在第一个生成块之后采用轻量级响应检测器，以便在早期阶段识别不安全的轨迹。该检测器对已生成内容和部分条件提示触发有针对性的重掩码，模型在自适应安全引导下重新生成所选位置。这一设计将连续轨迹控制与对不安全内容的显式纠正相结合，同时无需修改模型参数。在 LLaDA 和 Dream 上的实验表明，我们的方法在保持良性生成质量和通用模型能力的同时，提高了对多种越狱攻击的鲁棒性。我们的代码可在 此 https URL 获取。
| 评论： | 23 页，5 张图 |
| 主题： | 计算与语言（cs.CL） |
| MSC 分类号： | 68T50 |
| ACM 分类号： | I.2.7 |
| 引用为： | arXiv:2605.13043 [cs.CL] |
| （或 arXiv:2605.13043v3 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2605.13043 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yejin Lee [查看邮箱]
[v1]
2026 年 5 月 13 日星期三 05:56:45 UTC（237 KB）
[v2]
2026 年 10 月 1 日星期四 04:41:47 UTC（334 KB）
[v3]
2026 年 10 月 21 日星期三 04:56:49 UTC（335 KB）
来源：arXiv cs.CL · arxiv.org