arXiv cs.AI· Dasol Choi, Eugenia Kim, Jaewon Noh, Sang Seo, Eunmi Kim, Myunggyo Oh, Yunjin Park, Brigitta Jesica Kartono, Josef Pichlmeier, Helena Berndt, Sai Krishna Mendu, Glenn Johannes Tungka, \"Ozlem G\"ok\c{c}e, Suresh Gehlot, Katherine Pratt, Amanda Minnich, Haon Park·· 3 天前AI 评分33
XL-SafetyBench：面向 LLM 安全与文化敏感性的国家情境跨文化基准
XL-SafetyBench: A Country-Grounded Cross-Cultural Benchmark for LLM Safety and Cultural Sensitivity
AI 导读
研究者推出 XL-SafetyBench，覆盖 10 个国家-语言对、共 5,500 条测试用例，包含国家情境越狱基准与文化基准两部分，并引入 Cultural Sensitivity Rate（CSR）区分原则性拒绝与未参与。
正文 · AI 翻译
作者：Dasol Choi、Eugenia Kim、Jaewon Noh、Sang Seo、Eunmi Kim、Myunggyo Oh、Yunjin Park、Brigitta Jesica Kartono、Josef Pichlmeier、Helena Berndt、Sai Krishna Mendu、Glenn Johannes Tungka、Özlem Gökçe、Suresh Gehlot、Katherine Pratt、Amanda Minnich、Haon Park
摘要：当前的 LLM 安全基准主要以英语为中心，且往往依赖翻译，无法捕捉特定国家的危害。此外，它们很少评估模型识别文化嵌入敏感性（区别于普遍危害）的能力。我们提出 XL-SafetyBench，这是一套涵盖 10 个国家-语言对的 5,500 个测试用例，包括一个由基于国家的对抗性提示组成的越狱基准，以及一个将本地敏感性嵌入无害请求中的文化基准。每个条目均通过多阶段流水线构建，该流水线结合了 LLM 辅助发现、自动验证关卡以及每个国家两名独立的母语标注者。我们报告攻击成功率（ASR）以及中性安全率（NSR），以区分有原则的拒绝与未参与，并引入文化敏感性率（CSR）以识别嵌入的敏感性。评估 10 个前沿 LLM 和 27 个本地 LLM 揭示了两个关键发现。首先，强大的越狱鲁棒性并不总是伴随强大的文化意识，这表明为何应将两者分开评估。其次，本地模型表现出强烈的 ASR-NSR 权衡（r = -0.81），表明若干本地模型中较低的攻击成功率反映的是未参与而非安全拒绝。XL-SafetyBench 为多语言时代提供了更细致、跨文化的安全评估。
| 评论： | NeurIPS 2026 评估与数据集 Track |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.05662 [cs.CL] |
| （或 arXiv:2605.05662v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.05662 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Dasol Choi [查看邮箱]
[v1]
2026年5月7日星期四 04:35:03 UTC（2,138 KB）
[v2]
2026年10月10日星期六 10:52:58 UTC（2,143 KB）
来源：arXiv cs.AI · arxiv.org