arXiv cs.AI· Paul Raj, Simon Caldwell, Daniel Whitmore, Mutlu Mete·· 13 小时前AI 评分31
DuplexTune：用耦合状态重放实现 MoE 模型的高效适配
DuplexTune: Coupled-State Replay for Memory-Efficient Mixture-of-Experts Adaptation
AI 导读
DuplexTune 通过可训练宽度桥接连接两条残差流，将耦合隐藏状态重放至预训练注意力与专家模块，实现 MoE 语言模型的内存高效适配。在 Qwen1.5-MoE-A2.7B 上，单张 H800 评测显示峰值内存 38.8 GB，低于带 checkpointing 的监督微调 64.8 GB，吞吐为 25.1 对 19.9 samples/s。
正文 · AI 翻译
摘要：稀疏专家执行并不能消除适配混合专家语言模型所需的存储状态。我们提出 DuplexTune，一个通过预训练注意力与专家模块重放耦合隐藏状态的框架。可训练宽度桥将两条残差流连接到主干。桥预热先于主干适配，路由器权重保持冻结。我们分析了隐式状态恢复方程，并确定了重建所需的收敛与重放条件。在 Qwen1.5-MoE-A2.7B 上，单 H800 评估报告峰值内存为 38.8 GB，而带检查点的监督微调为 64.8 GB，吞吐量分别为 25.1 与 19.9 样本/秒。DuplexTune 达到 67.2% MMLU、75.6% GSM8K 和 7.69 MT-Bench，多语言得分弱于带检查点的基线。结果刻画了状态存储、吞吐量与适配质量之间依赖配置的权衡。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.36009 [cs.LG] |
| （或 arXiv:2610.36009v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36009 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Paul Raj [查看邮箱]
[v1]
2026年10月26日星期一 16:17:33 UTC（1,321 KB）
来源：arXiv cs.AI · arxiv.org