arXiv cs.AI· Ramin Pishehvar, Andrea Morandi, Mahesh Viswanathan·· 10 天前AI 评分27
评估 LLM 路由的升级信号：目标、对照与五种自欺方式
Evaluating Escalation Signals for LLM Routing: Targets, Controls, and Five Ways to Fool Yourself
AI 导读
研究测试了语义熵作为 LLM 路由升级信号的可靠性，在 GSM8K 上以约 12 倍规模差的小/大模型组合实现 AUROC 0.871，匹配成本下路由准确率比随机升级最高提升 9 个百分点。
正文 · AI 翻译
摘要：决定何时将查询从小型语言模型升级到更大的模型，需要一个廉价的信号，在调用大模型之前预测升级是否有帮助。语义熵最初是为检测幻觉而开发的，是一个自然的候选：它衡量模型采样答案在含义上的分歧程度，而高分歧通常表明答案不可靠。我们在三个基准和两个模型家族上测试了它。在 GSM8K 上，使用大小相差约十二倍的小/大模型对，语义熵能可靠地区分小模型的错误（AUROC 0.871），并在相同成本下将路由准确率比随机升级提高最多九个百分点。此前在一个合成基准上看似很强的结果被证明具有误导性：一个仅基于问题难度、不涉及任何模型的简单规则，几乎与语义熵完全一致。本文的主要贡献是一组检查方法，可在将其报告为真实结果之前发现这一问题。我们表明，将廉价的、仅基于问题的难度估计与任何信号一起评分，可以揭示该信号是增加了真实信息，还是仅仅反映了问题看起来有多难；"升级有效"的两种合理定义可能在同一数据上产生截然不同的结果；一个基准可能几乎不给任何信号留下空间来超越简单地始终使用大模型；而实时采样的真实成本可能使路由比直接调用大模型更昂贵。对于复用缓存历史结果的更廉价替代方案，我们展示了如何预测它在新数据集上是否有效——并通过提前正确预测 AUROC 从 0.908 崩溃至随机水平（0.518）得到验证。我们将这些作为评估升级信号的通用检查清单提供。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.07354 [cs.AI] |
| （或 arXiv:2610.07354v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07354 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ramin Pishehvar [查看电子邮件]
[v1]
2026年10月5日星期一 20:22:34 UTC（240 KB）
来源：arXiv cs.AI · arxiv.org