arXiv cs.CL· Md Sabbir Hossen, Anichur Rahman, Pabon Shaha, Airin Afroj Aishi, Andrew H. Sung, Md Shohel Rana·· 11 小时前AI 评分31
高效推理谁来买单？基于置信度的小模型到大模型 LLM 路由在任务与语言间的表现
Who Pays for Efficient Inference? Confidence-Based Small-to-Large LLM Routing Across Tasks and Languages
AI 导读
一项系统评估在三个模型家族、四种语言和三类任务上测试了基于置信度的小模型到大模型路由，覆盖 72 种配置、42,288 条预测。
正文 · AI 翻译
摘要：从小模型到大模型的路由可以通过将困难输入升级到大模型、同时将较容易的输入保留在小模型上，从而降低推理成本。然而，其成功取决于能否识别出受益于升级的样本，而置信度在多语言任务上的可靠性仍不明确。我们对基于置信度的路由进行了系统性评估，涵盖三个模型系列、四种语言和三类任务，共覆盖 72 种模型、数据集、语言和规模配置以及 42,288 条预测。我们将全局置信度路由与随机路由、等配额置信度路由以及一个 oracle 上界进行了比较。在 Belebele 阅读理解数据集和 SIB-200 主题分类数据集上，置信度能够识别出有益的升级，平均纠正检测 AUC 分别为 0.612 和 0.705。在 50% 升级率下，它在 Belebele 上比随机路由提升 1.40--4.67 个百分点，在 SIB-200 上提升 2.54--5.63 个百分点。相比之下，在 MMLU-ProX-Lite 知识与推理数据集上的平均 AUC 仅为 0.510，且路由相比随机选择并未带来一致的提升，因为小模型常常在出错时仍保持高置信度。全局置信度路由还会造成高达 30.33 个百分点的语言升级差距，而等配额路由在总体准确率代价很小的情况下消除了这一差距。这些结果表明，置信度路由依赖于任务，并且可能在不同语言之间不均衡地分配计算资源。代码可在 此 https URL 获取
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.23249 [cs.CL] |
| （或 arXiv:2610.23249v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23249 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Md. Sabbir Hossen [查看电子邮件]
[v1]
2026年10月16日星期五 10:23:41 UTC（132 KB）
来源：arXiv cs.CL · arxiv.org