arXiv cs.CL· Edward Nguyen, Thai Tran, Kiet Anh Hoang, Duy Hoang, Duy Vo, Khanh Le, Vu Le·· 11 小时前AI 评分26
EDWARD-NMT：面向神经机器翻译的自适应路由与双重一致性弹性维度架构
EDWARD-NMT: Elastic Dimensions With Adaptive Routing and Dual-consistency for Neural Machine Translation
AI 导读
EDWARD-NMT 是一种面向 NMT 的 MoE 编码器-解码器架构，通过 Matryoshka 式弹性维度、带任务条件学习阈值的自适应 sigmoid 路由器和双重一致性目标，实现一次训练、多规格部署。
正文 · AI 翻译
摘要：稀疏混合专家（MoE）是扩展神经机器翻译（NMT）并管理语言异质性的强大范式。然而，实际限制阻碍了其在资源受限设备上的部署：整个专家池必须常驻内存，且每个 token 的计算预算在训练期间由固定的 top-k 路由静态设定。我们提出 EDWARD-NMT（Elastic Dimensions With Adaptive Routing and Dual-consistency for NMT），一种新颖的 MoE 编码器-解码器架构，面向“一次训练、随处部署”范式，在推理时提供一族可部署的子网络。EDWARD-NMT 融合了三项关键创新：(i) Matryoshka 式弹性维度，可灵活降低内存占用；(ii) 带学习型任务条件阈值的自适应 sigmoid 路由器，使每个 token 能动态确定其激活专家数量；(iii) 双重一致性目标，以最大化所提取子网络的性能。在 PhoMT（英-越）、WMT-14（英-德）、多语言 OPUS-16 以及多领域德-英基准上的大量实验验证了我们的方法。全容量架构在参数效率提升的同时达到或超过强 MoE 基线。此外，从单一检查点无缝提取的子网络无需任何再训练即可持续优于同等规模的稠密 Transformer。
| 评论： | 已被 EMNLP 2026（Findings）接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.32115 [cs.CL] |
| （或 arXiv:2610.32115v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32115 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kiet Anh Hoang [查看邮箱]
[v1]
2026年10月23日星期五 03:33:58 UTC（1,048 KB）
来源：arXiv cs.CL · arxiv.org