arXiv cs.CL· Zahraa Al Sahili, Ioannis Patras, Matthew Purver·· 3 天前AI 评分29
通过推理引导翻译扩展多语言安全与推理评估
Scaling Multilingual Safety and Reasoning Evaluation through Reasoning-Guided Translation
AI 导读
研究提出推理引导翻译框架，用于构建多语言评估基准，将翻译策略选择与大规模生成分离，结合任务感知验证、定向修复和独立质量筛查。基于该框架构建了覆盖 11 种语言、7 个安全/对话/数学推理资源的源对齐评估集，需修复的两个子集达到 99.94% 的条目-语言对覆盖率。对开源 LLM 的评估显示明显的语言相关漏洞，包括拒绝行为不一致和低资源语言推理能力大幅下降。
正文 · AI 翻译
摘要：大语言模型（LLM）正日益跨语言部署，但其安全性和推理能力仍主要在英语环境下评估。翻译现有基准测试为多语言评估提供了一种可扩展的方法，但跨语言保留任务特定含义面临重大挑战，尤其是对于有害请求、数学推理和对话交互。我们提出了一种推理引导的翻译框架，用于构建多语言评估，旨在保留多样化基准任务的结构和预期含义。我们的方法将翻译策略选择与大规模生成分离，结合推理引导的配置选择与任务感知验证、针对性修复和独立质量筛查。使用该框架，我们开发了一个源对齐的评估集合，涵盖 11 种语言的七个安全、对话和数学推理资源。所得集合在两个需要修复的子集中实现了预期项目-语言对 99.94\% 的覆盖率。对开源 LLM 的评估揭示了明显的语言相关漏洞，包括不一致的拒绝行为和低资源语言中显著的推理退化。这些发现凸显了任务敏感基准构建和系统质量评估对于理解英语之外多语言模型行为的重要性。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.20221 [cs.CL] |
| （或 arXiv:2610.20221v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20221 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Zahraa Al Sahili [查看电子邮件]
[v1]
2026年10月14日星期三 13:58:39 UTC（109 KB）
来源：arXiv cs.CL · arxiv.org