arXiv cs.AI· Sima Noorani, Shayan Kiyani, George Pappas, Hamed Hassani·· 2 天前AI 评分29
基于模型分歧的弱到强路由方法
Disagreement-Guided Weak-to-Strong Routing
AI 导读
研究者提出一种无需真实标注监督的弱到强路由方法，通过模型间分歧信号决定何时将小模型响应路由至更强模型。该方法先刻画最优路由策略，再基于模型间比较推导出有原则的近似方案，且强模型越接近真实分布近似越准确。在智能体与单轮任务中，该方法无需真实标注即可平衡路由成本与响应准确率，即使有真实正确性信号用于训练，基于分歧的路由仍可超越直接预测正确性的方法。
正文 · AI 翻译
摘要：小型语言模型越来越多地部署在边缘设备和机器人系统上，以满足成本和延迟约束，但其能力有限，可能使可靠部署面临挑战。更强的模型可以在需要时提供帮助，但决定何时将弱模型的响应路由到更强的模型，往往依赖于响应正确性的信号。然而，在开放式和智能体任务中，获取此类信号可能需要昂贵且难以大规模获得的真实标注监督。我们重新审视弱到强路由的基础，并探讨路由决策是否可以改为由不需要真实标注监督的信号来指导。我们首先刻画了最优的弱到强路由策略，同时允许通过本地推理生成多个弱模型响应。基于这一刻画，我们推导出基于模型间比较的最优路由的原则性近似。特别地，我们引入了模型分歧的概念，它可以直接从模型生成的响应中测量，而无需真实标注监督。重要的是，随着强模型成为真实标注分布更好的代理，该近似会变得越来越准确。在智能体和单轮任务中，我们的方法在没有真实标注监督的情况下，有效地在路由成本和响应准确性之间进行权衡。此外，即使有真实标注正确性信号可用于训练，基于分歧的路由也能优于直接训练来预测正确性的方法
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.22245 [cs.AI] |
| （或本版本的 arXiv:2610.22245v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.22245 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sima Noorani [查看邮箱]
[v1]
2026年10月15日星期四 17:19:57 UTC（2,401 KB）
来源：arXiv cs.AI · arxiv.org