arXiv cs.CL· Zeyu Michael Li, William Xingxu Chen, Bingshuo Qian, Jiayin Liu, Xiang Cheng·· 9 天前AI 评分27
ELF-REG：将连续扩散语言模型扩展至推理任务
ELF-REG: Scaling Continuous Diffusion Language Models to Reasoning Tasks
AI 导读
ELF-REG 将 Embedded Language Flows（ELF）扩展到 GSM8K、MATH-500、HumanEval 和 MBPP 上的数学推理与代码生成，通过 REPA+REG 让冻结的 AR 教师模型监督中间去噪特征。
正文 · AI 翻译
摘要：全连续扩散语言模型（dLMs）对连续表示进行去噪，无需中间离散化，然后在最后一步并行解码所有响应 token。它们在具有挑战性的推理任务上的表现，仍不如自回归（AR）LLM 和掩码 dLM 那样明确。我们将 Embedded Language Flows（ELF）扩展到 GSM8K、MATH-500、HumanEval 和 MBPP 上的数学推理与代码生成。我们提出 ELF-REG，通过表示对齐与纠缠（REPA+REG）改进学习，其中冻结的 AR 教师模型监督中间去噪器特征，并提供一个与响应联合去噪的全局表示。ELF-REG-L 在 64 次网络函数评估（NFE）下于 GSM8K 上达到 55.96% pass@1，在 128 NFE 下于 MATH-500 上达到 13.39%，于 HumanEval 上达到 22.56%。它在 GSM8K 和代码上的 pass@1 优于所评估的同等规模 dLM，并将 MATH-500 pass@1 从 ELF-L 基线的 10.55% 提升至 ELF-REG-L 的 13.39%。无需少步训练，相同的任务特定检查点通过提前停止支持强大的低 NFE 性能，即在不完成去噪轨迹的情况下解码中间干净预测。在 16 NFE 下，ELF-REG-L 达到 41.21% HumanEval pass@10，优于近期同等规模的连续 dLM。
| 学科： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2609.29102 [cs.CL] |
| （或 arXiv:2609.29102v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.29102 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Zeyu Michael Li [查看邮箱]
[v1]
2026年9月24日星期四 06:33:19 UTC（335 KB）
[v2]
2026年10月6日星期二 17:43:50 UTC（381 KB）
[v3]
2026年10月8日星期四 03:01:39 UTC（381 KB）
来源：arXiv cs.CL · arxiv.org