arXiv cs.AI· Amman Yusuf, Jiwoo Shin, Ruizhi Deng, Heitor Rodrigues Guimar\~{a}es, Nikita Dvornik, Mijung Park·· 3 天前AI 评分22
SADDER：面向文本扩散模型的安全感知去噪与方向性嵌入修正
The Tokens Strike Back: Safety-Aware Denoising with Directional Embedding-based Revision
AI 导读
研究者提出 SADDER，在免训练的文本扩散模型安全引导框架 SAD 基础上，利用每个 token 位置的嵌入空间安全信号作为门控，按 SAD 更新规则修正 token，并理论推导出使修改后去噪器精确的位置级目标分布。
正文 · AI 翻译
摘要：安全感知去噪器（SAD）是近期提出的一种用于文本扩散模型的免训练安全引导框架。在推理过程中，SAD 将文本样本引导至 token 概率空间中的安全区域。在本文中，我们提出 $\mathit{SADDER}$（基于方向嵌入修正的安全感知去噪），它通过利用每个 token 位置在嵌入（或激活）空间中的安全引导信号，然后用 SAD 更新规则乘以该引导信号来更新 token 位置，从而改进 SAD 在安全性与质量之间的权衡。这种乘法起到门控机制的作用：具有高不安全信号的 token 在推理过程中更可能按照 SAD 更新规则被修改。然而，这种更新不会自动保持条件均值，即固定目标分布的去噪器。因此，我们从理论上推导出新的逐位置目标分布，使得修改后的去噪器对这些分布是精确的。此外，我们推导出逐位置目标分布与全局目标分布相匹配的条件。我们在流行的掩码扩散语言模型（MDLM）和均匀状态扩散模型（USDM）上，在不安全续写和越狱设置下测试了我们的 $\mathit{SADDER}$ 方法，并表明 $\mathit{SADDER}$ 在安全性、生成质量和推理成本之间比现有方法实现了更好的平衡。
| 评论： | 43 页，4 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.17636 [cs.LG] |
| （或 arXiv:2610.17636v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17636 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Amman Yusuf [查看电子邮件]
[v1]
2026 年 10 月 13 日星期二 03:04:22 UTC（152 KB）
来源：arXiv cs.AI · arxiv.org