DuplexTune：耦合状态重放降低MoE适配内存
热点事件持续更新
DuplexTune：耦合状态重放降低MoE适配内存
1 篇报道1 个报道来源12 小时前更新
先了解这件事
AI 综述
Paul Raj 等作者发布论文提出 DuplexTune，一种面向混合专家（MoE）语言模型的适配框架：用可训练宽度桥接连接两条残差流，把耦合隐藏状态重放至预训练注意力与专家模块，以降低适配时的内存开销。 在 Qwen1.5-MoE-A2.7B 上，单张 H800 的评测显示，DuplexTune 峰值内存为 38.8 GB，低于带 checkpointing 的监督微调的 64.8 GB；吞吐为 25.1 samples/s，高于后者的 19.9 samples/s。上述数据来自论文报告的单卡评测，尚未见独立复现。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 12:00
DuplexTune：用耦合状态重放实现 MoE 模型的高效适配报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv cs.AIDuplexTune：用耦合状态重放实现 MoE 模型的高效适配
DuplexTune 通过可训练宽度桥接连接两条残差流，将耦合隐藏状态重放至预训练注意力与专家模块，实现 MoE 语言模型的内存高效适配。在 Qwen1.5-MoE-A2.7B 上，单张 H800 评测显示峰值内存 38.8 GB，低于带 checkpointing 的监督微调 64.8 GB，吞吐为 25.1 对 19.9 samples/s。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。