arXiv cs.CL· Marek \v{S}uppa, Jaroslav Kop\v{c}an·· 10 小时前AI 评分34
XDecideBench：跨语言评估类型化决策模型与置信度策略的基准
XDecideBench: Evaluating Typed Decision Models and Confidence Policies Across Languages
AI 导读
XDecideBench 是一个覆盖 122 种语言、88,425 条文本和 153,875 个类型化问题的九套件基准，用于评估类型化决策模型与置信度阈值策略。
正文 · AI 翻译
摘要：应用使用类型化决策模型对多种语言的文本进行路由和审核，并且通常只对置信度阈值以上的决策采取行动。我们推出 XDecideBench，这是一个包含九个套件、覆盖 122 种语言、含 88,425 条文本和 153,875 个类型化问题的基准。所有套件共用同一评分契约，我们分别报告对齐项、本地标注项和原生项。模型排名因套件而异。事后选出的英语最佳模型，在约四分之一的套件-语言单元中显著落败，在缅甸语 Belebele 上更是远远落后于最佳模型。三个针对类型化决策微调的开源模型在全部十二种开发语言上都击败了它们所基于的 Qwen 模型。在本地运行 Qwen 模型时，一个预先注册的留出队列证实，网络文本最少的四种语言中的准确率提升大于网络文本最多的六种语言。然而，在两组语言中，微调修复的基础模型错误比例相近，因此更大的提升可能反映基础模型更弱。在英语数据上设定的、允许 5% 错误的置信度阈值，在 XNLI 上超过了该错误率，即使在德语和法语中也是如此。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.01370 [cs.CL] |
| （或本版本的 arXiv:2611.01370v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2611.01370 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jaroslav Kopčan [查看电子邮件]
[v1]
2026 年 11 月 1 日星期日 00:11:15 UTC（302 KB）
来源：arXiv cs.CL · arxiv.org