BYOD：仅用LoRA把自回归模型转为扩散语言模型

研究团队提出 BYOD，一种仅用 LoRA 的参数高效方法，可将自回归语言模型转换为扩散语言模型，无需针对架构做特定调优。作者称这是首次报道的 Mistral 模型 AR-to-DLM 转换。 该方法已应用于 Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B 和 Ministral 8B。转换时基础模型参数全部冻结，适配器占最终参数的 4.1%–5.8%；每次 25,000 次迭代的转换最多使用 1.024 亿 token，在一块 Google Colab GPU 上耗时 3.1–4.0 小时。

AI 根据报道生成 · 58 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。