arXiv cs.AI· Yiyang Fu, Zihao Huang, Dongchen Han, Shukai Gong, Zhen Dong, Qiyang Min, Daquan Zhou·· 3 天前AI 评分31
Multi-Ratio ConceptMoE：单模型支持多计算预算，跨轮次灵活分配算力
One Model, Multiple Compute Budgets: Multi-Ratio ConceptMoE for Flexible Compute Across Turns
AI 导读
Multi-Ratio ConceptMoE 在共享骨干内同时支持 2、4、8 三种 token-to-concept 压缩比（CR2/CR4/CR8），实现同一上下文内的混合比例处理。
正文 · AI 翻译
摘要：大型语言模型通常通过不同的模型规模或固定的计算配置来支持不同的推理预算。然而，在多轮交互中，各轮的计算需求可能差异很大。每一轮都使用高计算量模型会浪费计算资源，而在独立模型之间进行路由可能需要在切换后重建特定于模型的历史状态。因此，我们提出一个问题：单个共享模型能否支持多个计算预算，并可在各轮之间灵活分配。我们提出了 Multi-Ratio ConceptMoE，它在共享主干内联合支持 2、4 和 8 的 token 到概念压缩比（CR2/CR4/CR8）。轻量级全 token 模块降低了与压缩无关的开销，特定于压缩比的边界路由器支持不同的压缩级别，跨压缩比训练使同一上下文内能够进行混合压缩比处理。在 PTBench 和 SFTBench 上，三种固定模式在所有 6 项比较中均优于其计算量匹配的 MoE 基线，同时与独立训练的固定压缩比专用模型相比仍具竞争力。在 CodeChat 和 CoSQL 上，混合压缩比推理改善了准确率与计算量的权衡，分别比 Large MoE 高出 5.87 和 2.68 个百分点，同时将 FLOPs 分别降低 41.1% 和 12.3%。在相同的逐轮预算调度下，Multi-Ratio ConceptMoE 相对于在独立模型之间进行路由，进一步将 FLOPs 降低了 78.4% 和 46.9%。这些结果表明，单个共享模型可以提供多个计算预算，以便在各轮之间灵活分配计算资源。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.14074 [cs.LG] |
| （或 arXiv:2610.14074v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14074 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yiyang Fu [查看电子邮件]
[v1]
2026年10月8日星期四 03:56:34 UTC（929 KB）
来源：arXiv cs.AI · arxiv.org