arXiv cs.CL· Hasan Demirkiran, Jens Ernstberger·· 2 天前AI 评分30
语言是智能体安全护栏的攻击面:LinguaGuardBench 揭示多语言请求下的判定翻转
Language Is a Security Surface for Agent Guards
AI 导读
研究者构建 LinguaGuardBench,将 TS-Bench AgentDojo-Traj 的 1,220 条标注步骤中的用户指令翻译成德语、法语、土耳其语、斯瓦希里语和阿姆哈拉语,工具调用与标签保持逐字节一致,以检验护栏判定是否随语言变化。
正文 · AI 翻译
摘要:步骤级防护在每次工具调用之前,根据用户请求和此前的轨迹判断智能体的下一步动作是否安全。用户会用多种语言书写这些请求,而防护提示词以及专门构建的防护所训练和评估的基准都是英文。我们探究防护的判定是否取决于请求的语言。我们基于 TS-Bench AgentDojo-Traj 的 1,220 个带标签步骤构建了 LinguaGuardBench:我们仅将用户指令翻译成德语、法语、土耳其语、斯瓦希里语和阿姆哈拉语,并保持每个工具调用、观察和标签逐字节一致,因此判定中的任何变化都只能归因于语言。六个英文改写和一个空白对照作为控制项,托管防护运行三次以测量其噪声。在 19 个防护中,从前沿 API 到 4B 开源模型以及四个专门构建的智能体防护,大多数开源、小型和专门构建的防护在翻译下改变判定的程度超出其自身噪声底线,且该效应随语言的稀有程度而增大:在九个参数量低于 13B 的防护中,经安慰剂调整的平均翻转率从法语上的 +1.5 个百分点升至阿姆哈拉语上的 +4.4 个百分点。专门构建的防护最为敏感。损害的方向往往与防护规模相关:12-30B 参数的开源防护会拦截更多良性步骤(假阳性最高达 +5.0 个百分点),而所有显著的召回率损失都出现在低于 10B 的防护中(最高达 -7.4 个百分点)。前沿防护的偏移至多约一个百分点;最强的 Gemini 3.8 Flash 在有和没有请求时返回完全相同的判定。损害集中在少数指令上,并且在事后分析中,落在智能体推理重述英文请求的步骤上,这与防护对通道间不一致做出反应相符。英文复述对每个防护的影响都小于翻译。我们发布了该基准和全部 489k 条判定。
| 评论: | 已被 NeurIPS 2026 Workshop on Agents in the Wild: Safety, Security, and Beyond (AIWILD) 接收。9 页正文加附录 |
| 主题: | 密码学与安全 (cs.CR);人工智能 (cs.AI);计算与语言 (cs.CL);机器学习 (cs.LG) |
| 引用为: | arXiv:2610.22244 [cs.CR] |
| (或本版本使用 arXiv:2610.22244v1 [cs.CR]) | |
| https://doi.org/10.48550/arXiv.2610.22244 arXiv 颁发的 DOI,经由 DataCite(待注册) |
提交历史
来自:Hasan Demirkiran [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 17:19:40 UTC(82 KB)
来源:arXiv cs.CL · arxiv.org