arXiv cs.AI· Rajdeep Pandhare, Delzaan Bharucha·· 11 小时前AI 评分31
ScoutRoute：利用语言模型内部信号实现高效 MoE 路由
ScoutRoute: Efficient Mixture-of-Experts Routing Using Internal Language Model Signals
AI 导读
ScoutRoute 是一个轻量级事后路由框架，通过一次 scout 模型前向传播提取隐藏状态与 logit 置信度，预测各专家模型的能力，无需修改底层模型。在 5 个开源权重语言模型和 4 个覆盖数学推理、代码生成、常识推理与多学科知识的基准上，ScoutRoute 仅需一次 scout 推理即持续优于单一路由信号，其能力探针校准效果也优于传统置信度度量。
正文 · AI 翻译
摘要：高效专家路由是混合专家（MoE）系统中的一个基本挑战，对于独立训练的大语言模型（LLM）所构成的异构集合而言尤其如此。现有路由方法通常依赖联合训练的门控网络、基于提示的预测器或计算成本高昂的多模型推理，限制了其灵活性和效率。本文提出 ScoutRoute，一个轻量级的事后路由框架，它利用通过廉价侦察模型进行单次前向传播所提取的内部语言模型信号来预测专家能力。隐藏状态表示被用于通过轻量级逻辑探针估计跨模型能力，而由 logit 导出的置信度度量被纳入领域感知路由策略中，从而在不修改底层语言模型的情况下实现高效的专家选择。ScoutRoute 在五个开放权重语言模型上、跨四个基准数据集进行了评估，涵盖数学推理、代码生成、常识推理和多学科知识。实验结果表明，ScoutRoute 始终优于单一的路由信号，同时仅需一次侦察模型推理。所提出的能力探针与传统置信度度量相比也实现了更优的校准，表明内部语言模型表示可为跨异构语言模型的准确高效专家路由提供可迁移的信息
| 评论： | 10 页，1 幅图，6 张表。发表于《人工智能与机器学习进展》，2026 年 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| ACM 分类： | I.2.7；I.2.6 |
| 引用为： | arXiv:2610.23443 [cs.AI] |
| （或 arXiv:2610.23443v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23443 arXiv 颁发的 DOI 通过 DataCite（待注册） |
|
| 期刊 参考： | 《人工智能与机器学习进展》，第 1 卷，第 1 期，2026 年 |
提交历史
来自：Rajdeep Pandhare [查看电子邮件]
[v1]
2026 年 10 月 16 日星期五 13:25:53 UTC（10 KB）
来源：arXiv cs.AI · arxiv.org