arXiv cs.CL· Jihao Zhao, Ding Chen, Yanfang Chen, Bo Tang, Feiyu Xiong, Junchi Yan, Zhiyu Li·· 11 小时前AI 评分31
RouteAlign:按任务需求对齐模型画像的 LLM 服务选择方法
RouteAlign: Aligning Task Requirements with Model Profiles for LLM Service Selection
AI 导读
RouteAlign 通过任务需求刻画能力需求与难度,并将其与模型性能测量对齐,用于 LLM 服务选择。它用历史需求构建全局画像与局部能力估计,再由共享打分器整合证据、以生成成本偏好筛选候选服务。在多任务与异构 LLM 服务评测中,该方法将质量-成本前沿推向更高质量,相比开源 Jev 风格决策后端质量稳定提升且生成成本更低。
正文 · AI 翻译
摘要:LLM 服务选择需要能够反映当前任务需求的性能证据。聚合分数掩盖了能力与难度上的差异,而语义相关的示例可能涉及不同的技能组合。我们提出 RouteAlign,它利用任务需求来组织模型性能的测量与服务的选择。任务需求描述能力需求与难度,从而能够与相应的模型性能测量对齐。历史需求决定结果如何贡献于全局画像与局部能力估计;新到的需求决定这些测量如何影响当前决策。一个共享评分器整合这些证据,生成成本偏好控制合格服务之间的选择。在多样化任务与异构 LLM 服务上的评估表明,RouteAlign 将经验质量-成本前沿推向更高的任务质量。与开放的 Jev 风格决策后端相比,质量提升一致,且生成成本低于其最强测试配置。消融实验支持局部性能证据的贡献,而目录更新实验表明拟合评分器在模型测量刷新后可有效复用。
| 主题: | 软件工程(cs.SE);计算与语言(cs.CL) |
| 引用为: | arXiv:2611.08162 [cs.SE] |
| (或 arXiv:2611.08162v1 [cs.SE] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.08162 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Zhiyu Li [查看邮箱]
[v1]
2026年11月5日星期四 15:21:16 UTC(1,308 KB)
来源:arXiv cs.CL · arxiv.org