arXiv cs.AI· Junwei Yao, Yongxi Zhou, Zike Yang, Zhijun Wang, Jianan Liu, Yanxian Chen, Wenbo Ye·· 13 小时前AI 评分38
统一置信度阈值下的语言覆盖不均：类型化决策接口中的语言差距及输入翻译的作用
One Confidence Threshold, Unequal Coverage: Language Gaps in Typed Decision Interfaces and How Translating Inputs Reduces Them
AI 导读
三家厂商的决策接口在 51 种语言上以 0.9 置信度阈值分类 1000 条 MASSIVE 数据时，同一请求即使英文和其他语言都答对，英文版本过阈值的比例平均高出 8.6-11.7 个百分点，其他所有语言的自动处理覆盖率均低于英文。
正文 · AI 翻译
摘要：已部署的分类器通常只在预测置信度超过阈值时才依据该预测采取行动，其余请求则转交人工处理。我们研究在类型化决策接口（即针对固定多项选择题的每个选项返回概率的 API）上，单一阈值是否对所有语言一视同仁。在一项带有书面分析计划的验证性研究中，三家供应商的接口以 0.9 为阈值对 1,000 条 MASSIVE 条目进行了分类，每条均以 51 种语言呈现。即使某个请求在英语和另一种语言中都被正确回答，英语版本超过阈值的频率仍更高，平均高出 8.6–11.7 个百分点。观测覆盖率（即自动处理的请求占比）在其他每种语言中都低于英语，而门控所处理的请求很少出错。当把每种语言重新加权到相同准确率时，这一差距依然存在，且标准校准指标（ECE）在其中一个接口上未能检测到该差距。在探索性分析中，当为每种语言分别拟合阈值以达到相同的 5% 错误目标时，英语的覆盖率仍然更高。将输入翻译成英语后，在 0.9 阈值下差距几乎消失，但在该错误目标下英语仍保持领先。当英语是非洲语言的人工译文时，以非洲语言原生书写的请求也表现出同方向的差距。我们建议报告运行阈值下各语言的覆盖率。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.37688 [cs.CL] |
| （或 arXiv:2610.37688v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37688 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Junwei Yao [查看电子邮件]
[v1]
2026年10月17日星期六 21:53:42 UTC（193 KB）
来源：arXiv cs.AI · arxiv.org