arXiv cs.CL· Taikun Chen, Yue Zhang, Wei Qian, Hui Fang·· 10 小时前AI 评分31
RL-ATTACK：基于强化学习的语言模型通用黑盒对抗攻击框架
RL-ATTACK: A Generalized Black-Box Adversarial Attack on Language Models via Reinforcement Learning
AI 导读
研究者提出 RL-ATTACK，一种基于强化学习的可训练黑盒对抗攻击框架，从目标模型学习生成定制化对抗变换。在自然语言推理任务上，它能在 20 次查询内将攻击后准确率降至 2%；针对生成式语言模型，其攻击后准确率持续低于未训练攻击者，并在 6 个设置中的 4 个优于强优化基线。该工作已被 IEEE EdgeCom 2026 接收为 regular paper，代码已开源。
正文 · AI 翻译
摘要：大型语言模型（LLM）存在对抗性扰动漏洞，可诱发非预期响应。这些漏洞可通过有意攻击被识别，并随后用于提升模型安全性。在无法获取梯度的黑盒场景中，现有方法倾向于借助外部知识猜测对抗变换，忽略了目标模型所提供的信息。为缓解这一问题，我们提出了一种基于强化学习的可训练黑盒框架，它从目标模型中学习以生成定制化的对抗变换。我们证明，该方法在自然语言推理和生成式问答任务上均实现了更低攻击后准确率、更高查询效率和更好的语义保持。在自然语言推理任务上，它能在 20 次查询内将攻击后准确率降至 2%。针对生成式语言模型，我们训练的攻击器始终比未训练的攻击器取得更低的攻击后准确率，并且在与强优化基线的比较中，于 6 个设置中的 4 个胜出。我们进一步尝试了多种奖励设计和训练设置，发现没有任何设计或设置始终占优。我们的代码可在 此 https URL 获取。
| 评论： | 被 IEEE EdgeCom 2026 接收为常规论文 |
| 主题： | 计算与语言（cs.CL）；密码学与安全（cs.CR） |
| 引用为： | arXiv:2611.08711 [cs.CL] |
| （或 arXiv:2611.08711v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08711 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Taikun Chen [查看邮箱]
[v1]
2026年11月5日 星期四 21:06:21 UTC（960 KB）
来源：arXiv cs.CL · arxiv.org