arXiv cs.CL· Peng Kuang, Yuchun Fan, Jiangnan Li, Minghao Wu, Jialong Tang, Hao-Ran Wei, Weixuan Wang, Jianhong Tu, Baosong Yang, Tong Xiao·· 11 小时前AI 评分34
BabelArena：面向 LLM 智能体的大规模多语言基准
BabelArena: A Large-Scale Multilingual Benchmark for LLM Agents
AI 导读
研究者提出 BabelFlow 工作流并据此构建 BabelArena，一个包含 16,146 个实例、源自 702 个规范任务的多语言智能体基准，覆盖 4 个基准族、13 个领域和 23 种语言。五个前沿模型的测试显示，没有单一模型在所有基准族上占优，低资源语言更多出现工具调用与控制流错误，且智能体在低资源语言下的输入 token 消耗最高约为英文的两倍。
正文 · AI 翻译
摘要：大型语言模型（LLM）智能体越来越多地通过工具使用以及与用户和环境的交互来执行多步骤工作流。然而，当前的智能体评估大多以英语为中心，限制了我们对多语言环境下智能体能力的理解。我们提出 BabelFlow，一种基准通用的智能体工作流，它通过分析运行时依赖、协调保持结构的翻译，并结合多层验证与人工审核来保留任务和评估语义，从而将现有智能体基准适配到新语言。使用 BabelFlow，我们构建了 BabelArena，一个任务对齐的基准，包含 16,146 个实例，源自四个基准系列、13 个领域和 23 种语言中的 702 个规范任务。对五个前沿模型的实验表明，没有任何单一模型在所有基准系列中占据主导地位，且跨语言差异远不止于任务成功率。低资源语言表现出独特的失败模式，工具使用和控制流错误的占比更高，而不仅仅是答案质量错误，这指向这些语言在不同资源水平下可靠任务执行方面的差距。在相同任务上，低资源语言中的智能体消耗的 token 也显著多于英语（输入最多约为两倍），而交互长度并未成比例增加；在需要结构化输出的任务上，语言一致性进一步下降，其中切换绝大多数指向英语。我们相信 BabelArena 为推进可靠且高效的多语言智能体研究提供了基础。
| 评论： | 20 页、11 张表和 7 幅图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2609.23490 [cs.CL] |
| （或 arXiv:2609.23490v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.23490 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Minghao Wu [查看电子邮件]
[v1]
2026年9月20日星期日 09:25:38 UTC（885 KB）
[v2]
2026年10月23日星期五 07:32:28 UTC（885 KB）
来源：arXiv cs.CL · arxiv.org