arXiv cs.AI· Paula Chikaodinaka Anyanwu, Valdini Douglace Lemofouet, Blessing Ngozi Uzor, Ifeoluwa Dorcas Awotunde, Danielle Blanche Kapsa, Tassallah Abdullahi, Clemencia Siro, Idris Abdulmumin, Seid Muhie Yimam, Shamsuddeen Hassan Muhammad·· 13 小时前AI 评分40
用约鲁巴语和尼日利亚皮钦语对 LLM 做红队测试：低资源非洲语言安全评估案例研究
Red-Teaming Large Language Models in Low-Resource African Languages: A Case Study of Yoruba and Nigerian Pidgin
AI 导读
一项研究用 400 条约鲁巴语和尼日利亚皮钦语对抗性提示词评测六款主流 LLM，发现英语拒答率最高达 69% 的模型在约鲁巴语上拒答率低至 0%，原因是不理解提示词而非更安全。
正文 · AI 翻译
摘要：随着大语言模型（LLM）在非洲日益普及，其在低资源语言中的安全性在很大程度上仍未得到检验，因为大多数红队测试工作都集中在英语上。本研究使用 400 条约鲁巴语和尼日利亚皮钦语的显式对抗性提示词，对六种最先进的 LLM 进行了评估，这些提示词被分为四个危害类别。回答由母语标注者评分，并使用 Cohen's $\kappa$ 评估可靠性。虽然拒绝多达 69% 英语提示词的模型在约鲁巴语中拒绝率低至 0%，但这并非因为它们更安全，而是因为它们未能理解提示词。大多数模型在尼日利亚语言中的攻击成功率有所上升，其中 GPT-4o Mini 表现出最显著的跨语言安全差异（约鲁巴语中 +0.23）。当模型确实处理对抗性提示词时，许多回答是有害的，有害内容率在英语中达到 0.63，在尼日利亚皮钦语中达到 0.50。最难检测的危害类别是文化刻板印象与歧视（尼日利亚皮钦语中 ASR = 0.44）。大多数模型对约鲁巴语的理解程度较低，这直接压低了表面上的攻击成功率，但并不表明实际安全性。Gemini 2.0 Flash 是跨语言表现最一致的模型。尽管 Aya 101 明确接受过非洲语言训练，但其在英语中的攻击成功率最高（0.60），且约鲁巴语理解率最低之一（0.28）。这些结果表明，以英语为中心的安全对齐无法迁移到尼日利亚语言，凸显了针对特定语言进行安全评估的迫切需求。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.39590 [cs.CL] |
| （或 arXiv:2610.39590v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39590 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Paula Chikaodinaka Anyanwu [查看邮箱]
[v1]
2026年10月29日 星期四 08:30:29 UTC（2,993 KB）
来源：arXiv cs.AI · arxiv.org