arXiv cs.AI· Xiang Cheng·· 11 小时前AI 评分34
CEDR：用连续隐空间扩散做推理，GSM8K pass@1 达 68.97%
Reasoning with Continuous Latent Diffusion
AI 导读
研究者提出连续嵌入扩散推理器 CEDR，从 Qwen3-4B 三个隐藏层学习紧凑答案表示，用基于 ELF 的扩散骨干替代大模型上下文提示编码器，并支持异步推理。
正文 · AI 翻译
摘要：我们提出连续嵌入扩散推理器（CEDR），这是一种用于连续潜在扩散模型的训练与推理流程，在数学推理和代码生成上取得了强劲性能。我们从自回归 Qwen3-4B 模型的三个隐藏层中学习紧凑的答案表示。分阶段课程首先在教师提示条件下训练基于 ELF 的扩散主干，然后通过模仿初始化一个紧凑的提示编码器，并联合调整两个网络。这在推理时用紧凑的学习型 Transformer 取代了大型教师上下文提示编码器。多层答案表示还支持异步推理，不同组件在各自的时钟下进行去噪。我们进一步将 DiffusionNFT 适配到学习到的自条件引导，从而能够使用可验证奖励进行强化学习。受控消融实验评估了表示设计、提示训练和去噪调度的影响。在相当的主干规模下，CEDR 优于近期的连续扩散基线，包括在强化学习之前。在 638M 参数的去噪主干和 DMD2 风格随机采样下，NFT 后的 CEDR-L 在每样本 64 个去噪步骤时，在 GSM8K 上达到 {68.97%, 80.82%} 的 {pass@1, pass@8} 准确率，在 MATH500 上达到 {32.40%, 53.80%}；在每样本 128 步时，在 HumanEval+ 上达到 {37.56%, 51.00%}，在 MBPP+ 上达到 {26.96%, 39.92%}。代码和模型权重分别可在 此 https URL 和 此 https URL 获取。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.35694 [cs.AI] |
| （或 arXiv:2609.35694v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.35694 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xiang Cheng [查看邮箱]
[v1]
2026年9月28日星期一 17:38:43 UTC（358 KB）
[v2]
2026年9月29日星期二 17:56:43 UTC（359 KB）
[v3]
2026年10月20日星期二 17:34:28 UTC（435 KB）
来源：arXiv cs.AI · arxiv.org