arXiv cs.CL· Ruurd J. A. Kuiper, Robert A. Bagheri·· 10 小时前AI 评分52
BYOD：仅用 LoRA 将自回归语言模型转换为扩散语言模型
BYOD: Build Your Own DLM - Efficient Autoregressive-to-Diffusion Language Model Conversion
AI 导读
研究团队提出 BYOD，一种仅用 LoRA 的参数高效方法，可将自回归语言模型转换为扩散语言模型，无需架构特定调优，已应用于 Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B 和 Ministral 8B，作者称这是首次报道的 Mistral 模型 AR-to-DLM 转换。
正文 · AI 翻译
摘要：与自回归（AR）模型不同，扩散语言模型（DLM）允许并行 token 更新、灵活生成和双向注意力，但领先的系统依赖昂贵的预训练或全模型微调。我们提出 Build Your Own DLM（BYOD），一种可推广的仅使用 LoRA 的参数高效 AR 到 DLM 转换方案。无需针对特定架构调优，BYOD 即可在 Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B 和 Ministral 8B 中诱导扩散生成；据我们所知，这是首个报道的 Mistral 模型 AR 到 DLM 转换。适配器占最终参数的 4.1-5.8%，而所有基础模型参数保持冻结；每次 25,000 次迭代的转换最多需要 102.4M 个 token，在一块 Google Colab GPU 上处理耗时 3.1-4.0 小时。四个模型均能从完全掩码的序列生成，在受控注意力测试中使用双向上下文，并保留大量父模型知识。BYOD-Gemma 是我们九项任务评估中最强的 BYOD 转换，平均准确率达到 50.6%，而同一测试框架中 LLaDA 8B Instruct 为 51.9%。低网络函数评估（NFE）预算下的开放生成质量仍是主要限制：在 64 步内生成 128 个 token 时，BYOD 的困惑度为 8.3-11.1，而 LLaDA 为 4.1，AR 父模型为 2.2-3.0。为便于进一步实验和检查，我们提供了独立的训练与评估实现以及全部四个转换的交互式演示。因此，BYOD 为将扩散生成扩展到其他现有模型家族提供了一条实用路径，同时指出了高效转换接下来必须弥合的差距。
| 评论： | 21 页，8 幅图。代码：此 https URL ；Gemma 演示：此 https URL 。论文中包含全部四个演示的链接 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.41574 [cs.CL] |
| （或 arXiv:2610.41574v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41574 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ruurd Jan Anthonius Kuiper [查看电子邮件]
[v1]
2026 年 10 月 30 日星期五 11:04:29 UTC（419 KB）
来源：arXiv cs.CL · arxiv.org