arXiv cs.CL· Aditya Nawal, Manit Baser, Mohan Gurusamy·· 11 小时前AI 评分38
语言如何影响 LLM 智能体的工具准入与检索后安全
Disentangling Language Effects on Tool Admission and Post-Retrieval Safety
AI 导读
研究在受控 URL 检索设置下跨十个模型、七种语言独立改变请求语言、检索页面语言和应答语言,识别出跨语言处理导致的安全损失(SLIP):非英语有害请求使平均工具准入率从 46.9% 升至 67.4%,且每个模型均呈正向变化。
正文 · AI 翻译
摘要:LLM 智能体越来越多地跨语言使用检索工具,但其安全评估仍以英语为中心。目前尚不清楚语言是否影响工具准入、检索后生成,或两者兼有。我们在受控的 URL 检索设置中,独立改变请求语言、检索页面语言和所需响应语言,覆盖十个模型和七种语言。我们识别出跨语言处理导致的安全损失(SLIP)。非英语有害请求使平均工具准入率从 46.9% 升至 67.4%,且每个模型的平均变化均为正。这一模式在此设置下测试的全部四个模型的自主检索设置中也持续存在。要求以页面语言作答,使四个闭源权重模型在匹配工具调用上的汇总有害性从 50.3% 升至 57.4%,主要出现在中文和印地语中。在八个推理设置相当的模型中,仅翻译页面并未产生一致的有害性增加。自动化审计表明,非有害响应可能是真正的安全拒绝、以语言困难为由的推诿,或不可用的答案。仅凭有害性标签无法区分这些结果。因此,多语言安全评估应分别衡量工具准入和响应有害性,并区分拒绝与能力失败。
| 评论: | 33 页,含附录 |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2610.23093 [cs.CL] |
| (或 arXiv:2610.23093v1 [cs.CL] 为本版本) | |
| https://doi.org/10.48550/arXiv.2610.23093 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Aditya Nawal [查看邮箱]
[v1]
2026 年 10 月 16 日星期五 08:05:14 UTC(907 KB)
来源:arXiv cs.CL · arxiv.org