arXiv cs.AI· Xinsong Feng, Chenan Wang, Leshu Tang, Johnny Liu, Dong Li, Da Li, Haipeng Chen·· 11 小时前AI 评分29
DELA：为扩散语言模型学习可控编辑
DELA: Learning Controllable Edits for Diffusion Language Models
AI 导读
研究者提出 Diffusion Editing Language Adapter（DELA），一个在冻结扩散语言模型上实现可控草稿精修的插件框架，通过 Insert、Delete、Remask、Stop 四种显式编辑动作决定何时何地修改草稿。
正文 · AI 翻译
摘要：扩散语言模型（DLM）支持双向去噪和迭代细化，但生成过程仍主要由 token 级掩码调度控制。这使得草稿级细化变得隐式，并限制了对何时插入缺失内容、删除冗余片段、重新审视不确定区域或停止编辑的显式控制。我们提出扩散编辑语言适配器（DELA），这是一个即插即用框架，可在冻结的 DLM 上实现可控的草稿细化。DELA 在干净、可变长度的草稿上运行，使用四种显式编辑动作：插入、删除、重新掩码和停止。控制器决定何时以及在哪里编辑草稿，而冻结的 DLM 通过去噪填充被掩码区域，从而将高层编辑控制与 token 级生成分离。朴素的单阶段编辑器计算开销很大，因为任意内部编辑可能破坏前缀稳定性并限制可靠的 KV 缓存复用。为解决这一问题，DELA 采用两阶段解码流程：一个支持 KV 缓存复用的快速、仅追加的起草阶段，随后是一个全局细化阶段，可对完整草稿进行有针对性的非单调编辑。我们使用分阶段课程训练控制器，首先从合成恢复任务和可提升草稿质量的挖掘动作中学习局部编辑先验。后续阶段通过基于 rollout 的结果偏好以及与下游任务反馈的对齐来细化编辑选择。在数学推理和代码生成上的实验表明，DELA 在保持主干冻结的情况下，相比直接扩散解码最高提升 5.5 个百分点。因此，DELA 为扩散语言模型中的显式草稿级控制提供了一种模块化方法。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.32096 [cs.AI] |
| （或 arXiv:2610.32096v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32096 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xinsong Feng [查看邮箱]
[v1]
2026年10月23日星期五 02:57:27 UTC（228 KB）
来源：arXiv cs.AI · arxiv.org