arXiv cs.AI· Sailendra Kolluru, Maheshkumar Duvvarapu·· 1 天前AI 评分31
小语言模型做推理能力路由：模型容量与提示词优化对下游质量与效率的影响
Small Language Models for Inference-Capability Routing: Effects of Model Capacity and Prompt Optimization on Downstream Quality and Efficiency
AI 导读
研究用 Qwen2.5 系列 1.5B 至 14B 参数的小语言模型构建提示词驱动的能力路由，对推理、计算器、RAG、网页搜索四项能力独立决策，并以 GPT-OSS-120B 为固定下游模型在 127 个问题上评测。
正文 · AI 翻译
摘要：可选推理、检索、网络搜索和工具使用可以改善大语言模型的响应，但若无差别地激活则会带来不必要的计算开销。本研究探讨提示优化能否弥补有限的路由器容量，以及分类性能的提升能否转化为下游效率。所提出的框架使用提示驱动的小语言模型做出四项独立的能力决策，允许每个查询选择多种能力。研究比较了参数规模从 1.5B 到 14B 的 Qwen2.5 路由器在五种提示策略下的表现，随后在 127 个问题上使用固定的 GPT-OSS-120B 下游模型评估了针对特定能力的优化配置。在最小提示下，增加路由器容量并不能持续提升分类性能。提示优化缩小了推理和计算器路由的容量差距，而 RAG 和网络搜索仍从更高容量中获得更大收益。相似的分类 F1 分数并不一定意味着等价的下游行为：误报激活会增加不必要的计算，而遗漏能力则会降低答案质量。14B 路由器实现了 0.8408 的平均 BERTScore F1，而启用所有能力时为 0.8418，同时将平均下游 token 消耗降低了 68.7\%（从 8,837 降至 2,764 个 token），并将下游延迟中位数降低了 80.5\%（从 9.79 秒降至 1.91 秒）。这些节省不包括路由器开销，该开销在不同推理环境中单独测量，并随路由器容量增加而增加。研究结果表明，路由器容量、提示设计与下游效率之间的关系取决于具体能力。因此，路由器选择必须同时考虑错误特征和路由开销，而不仅仅是分类性能。
| 评论： | 15 页，8 张图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.16414 [cs.AI] |
| （或 arXiv:2611.16414v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.16414 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sailendra Kolluru [查看邮箱]
[v1]
2026 年 11 月 12 日星期四 07:25:46 UTC（4,083 KB）
来源：arXiv cs.AI · arxiv.org