arXiv cs.CL· Yifan Lan, Zhongye Liu, Yurui Chang, Hanyu Wang, Yongkang Du, Lu Lin, Jinghui Chen·· 3 天前AI 评分29
DecisionRobust：跨文本与视觉的 JEV 风格决策模型鲁棒性基准
DecisionRobust: Benchmarking Robustness for JEV Style Decision Models Across Text and Vision
AI 导读
研究者推出 DecisionRobust，一个系统评估 JEV 等决策模型在文本与视觉输入下鲁棒性的基准，涵盖语义保持文本扰动、图像扰动及两种模态的提示词注入攻击。实验评估了文本任务 30 个、视觉任务 17 个模型配置，发现攻击能暴露构建与筛选所用模型之外的漏洞，且对输入扰动的抵抗力不必然意味着能抵抗提示词注入。标签一致性检查可显著降低文本与图像场景下测得的攻击成功率。
正文 · AI 翻译
摘要：JEV 等新兴决策模型提供了类型化接口，可将任务指令和观测直接映射为选择、判断和评分。随着这些模型越来越多地用于自动化决策，理解其在对抗性操纵下的可靠性变得至关重要。我们提出了 DecisionRobust，一个用于系统评估决策模型在文本和视觉输入下鲁棒性的基准。我们的基准涵盖实际决策场景以及多样化的攻击套件，包括保持语义的文本扰动、图像扰动以及两种模态下的提示注入。我们通过外部效度检查和跨模型候选选择来构建评估集。我们在文本任务上评估了 30 个模型配置，在视觉任务上评估了 17 个，其中分别包括 24 个和 12 个被排除在候选选择之外的留出模型。我们的实验揭示了几个关键发现。首先，攻击暴露了超出用于构建和选择的模型的漏洞，尽管优化的图像扰动即使使用多个替代模型，向许多目标迁移的效果也很弱。其次，相对模型鲁棒性因任务和攻击类型而异，对输入扰动的抵抗力并不一定意味着对提示注入的抵抗力。第三，标签一致性检查大幅降低了文本和图像设置中测得的攻击成功率，凸显了验证表面失败的重要性。该基准可在 此 https URL 获取。
| 评论： | 21 页，6 幅图，包括参考文献和附录。基准网站：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19118 [cs.CL] |
| （或 arXiv:2610.19118v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19118 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yifan Lan [查看电子邮件]
[v1]
2026 年 10 月 13 日星期二 19:52:14 UTC（9,532 KB）
来源：arXiv cs.CL · arxiv.org