arXiv cs.AI· Yixin Wu, Rachel Hong, Jamie Morgenstern, Tadayoshi Kohno·· 11 小时前AI 评分42
BenchDoor:利用基准测试激励实施后门攻击的对抗性基准方法
Adversarial Benchmarks and BenchDoor Attacks: Exploiting Benchmark Incentives for Backdoor Attacks
AI 导读
研究者提出 BenchDoor 系列数据投毒攻击,利用基准测试分数驱动数据集采用的激励机制,在保持良性性能的同时植入后门。在 Qwen 和 Gemma 模型的多选题问答、文本分类与开放式问答任务中,30 个评测配置全部实现基准分数正增益,2% 至 10% 投毒率下留出集攻击成功率达 82.33% 至 100.00%。经合成数据生成与基于相似度的去污染处理后,攻击成功率仍不低于 90.33%。
正文 · AI 翻译
摘要:机器学习基准是模型开发的指路标,并推动人们创建旨在提升基准分数的训练数据集。我们提出 BenchDoor,这是一族利用这一激励机制的数据投毒攻击。除了保持良性性能外,BenchDoor 还要求基准收益能够促使人们采用同时植入后门的数据。攻击者要么操纵基准的训练数据或测试数据,制造对抗性基准,要么提供一个独立的训练数据集,同时保持基准不变。我们形式化了五种攻击场景,包括在重写的测试样本上训练以及应用基于相似度的去污染。在多项选择问答、文本分类以及与 Qwen 和 Gemma 模型的开放式问答中,BenchDoor 在所有 30 个评估配置上均取得了正向的基准收益,在 2% 至 10% 的投毒率下,留出攻击成功率为 82.33% 至 100.00%。在合成数据生成和基于相似度的去污染之后,两个目标仍然可以实现,攻击成功率至少为 90.33%。这些发现表明,基准既可以通过自身数据、也可以通过在其上带来提升的训练资源,成为攻击载体。
| 学科: | 密码学与安全(cs.CR);人工智能(cs.AI) |
| 引用为: | arXiv:2610.27533 [cs.CR] |
| (或 arXiv:2610.27533v1 [cs.CR] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.27533 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Yixin Wu [查看电子邮件]
[v1]
2026年10月20日星期二 02:49:19 UTC(613 KB)
来源:arXiv cs.AI · arxiv.org