DPA-MoE：面向 MoE 推理的运行时精度控制框架

DPA-MoE: A Runtime Precision Control Framework for MoE Inference

AI 导读

DPA-MoE 是一个让路由专家支持任意精度的运行时精度控制框架，通过 SharedScale AnyBCQ 将专家前馈权重编码为可前缀解码的 chunk，并利用实时 router gate 分数在推理时分配 chunk，使单个编码后的 MoE checkpoint 无需重训练或重新编码即可在多种有效权重预算下运行。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：混合专家（MoE）模型通过将每个 token 路由到一小组专家来减少计算量，但每个被选中的专家仍以固定精度使用。我们提出 DPA-MoE，一个运行时精度控制框架，使被路由的专家具备任意精度。DPA-MoE 使用 SharedScale AnyBCQ 将专家前馈权重编码为可前缀解码的块，离线分析每个专家的重建残差，并在推理时利用实时路由器门控分数分配块。这种路由后分配使单个编码的 MoE 检查点能够在多个有效权重预算下运行，而无需重新训练或重新编码。在 Qwen3-30B-A3B 和 DeepSeekMoE-16B 上的实验表明，在相同预算下，DPA-MoE 相比均匀块分配改善了 KL 散度和下游准确率，且在我们的原型中仅有适度的稳态吞吐开销。

评论：	18 页，7 张图；被 EMNLP 2026 Findings 接收
主题：	计算与语言（cs.CL）
引用为：	arXiv:2610.21378 [cs.CL]
	（或 arXiv:2610.21378v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.21378 arXiv 颁发的 DOI 通过 DataCite（待注册）

提交历史

来自：Sangyeob Kim [查看电子邮件]
[v1] 2026 年 10 月 15 日星期四 06:58:00 UTC（1,232 KB）

来源：arXiv cs.CL · arxiv.org