arXiv cs.CL· Ali Al-Lawati, Elsayed Eshra, Dongwon Lee, Suhang Wang·· 12 小时前AI 评分29
用扩散语言模型实现困惑度感知的黑盒攻击
Diffusion Language Models for Perplexity-Aware Black-Box Attacks
AI 导读
研究将连续隐空间黑盒攻击框架直接耦合到连续扩散语言模型（dLLM），用学习到的语言生成分布替代随机映射，同时保留标准高斯隐空间与采样/优化流程。在 RareTrap 采样估计下字符级困惑度从 10^3–10^7 降至 3–5，ThinkTrap 优化搜索下从 20–28 降至 4.3–5.4。两种映射下模型风险估计可相差一个数量级。
正文 · AI 翻译
摘要：\emph{连续空间}攻击通过在低维高斯潜空间中采样或优化，并通过\emph{随机映射}和最近词元查找将其解码为文本，从而找到能在黑盒 LLM 中触发恶意行为（如过度思考）的提示。由于随机映射并非从语言中学习得到，其提示可能高度不自然，因此很容易被输入防护机制检测到，而且其产生的风险估计并非基于自然提示。在本文中，我们证明，同样的连续潜空间框架可以直接与语言上的学习生成分布——连续扩散语言模型（dLLM）——相耦合，从而在保留标准高斯潜空间表述及下游采样或优化过程的同时，消除人为的随机映射。我们在两种设置下评估了该方法：使用 \emph{RareTrap} 的基于采样的估计，以及使用 \emph{ThinkTrap} 的基于优化的搜索。我们发现，字符级困惑度在 RareTrap 中从 $10^3$--$10^7$ 降至 3--5，在 ThinkTrap 中从 20--28 降至 4.3--5.4。我们还发现，两种映射下的模型风险估计可能相差一个数量级。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.31558 [cs.LG] |
| （或 arXiv:2610.31558v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31558 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ali Al Lawati [查看电子邮件]
[v1]
2026年10月22日 星期四 17:00:39 UTC（222 KB）
来源：arXiv cs.CL · arxiv.org