跳到正文
arXiv cs.CL· Steffen Castle, Nils Feldhus, Christopher Ebert, Leonhard Hennig, Sebastian M\"oller·· 10 小时前AI 评分31

DELTA:用扩散语言模型实现免训练摘要字符长度控制

Training-Free Character-Length Control in Summarization with Diffusion Language Models

AI 导读

研究者提出 DELTA(Diffusion Expected Length Targeting Algorithm),一种面向掩码扩散语言模型的免训练推理时方法,在每个去噪步骤估计期望字符长度并动态增删掩码位置以逼近目标长度。在三个摘要基准上,该方法将字符长度误差较基线降低一个数量级,同时自动与人工评估中的摘要质量保持竞争力。该工作已被 EMNLP 2026 主会接收。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:固定字符长度的摘要生成对于标题和文章预览生成等任务很重要,因为文本必须恰好适配特定空间。自回归语言模型(LM)难以精确控制字符长度:基于训练的方法需要针对特定任务进行微调,而零样本提示策略只能实现近似符合。我们提出 DELTA(Diffusion Expected Length Targeting Algorithm,扩散期望长度目标算法),这是一种面向掩码扩散 LM 的免训练推理时方法,它在每个去噪步骤估计期望字符长度,并动态插入或移除掩码位置以引导至目标长度。DELTA 无需微调,专为现成的掩码扩散 LM 设计。在三个摘要基准上,与基线相比,它将字符长度误差降低了一个数量级,同时在自动评估和人工评估中均保持了有竞争力的摘要质量。
评论: 已被 EMNLP 2026(主会议)接收
主题: 计算与语言(cs.CL)
引用为: arXiv:2611.06371 [cs.CL]
  (或 arXiv:2611.06371v1 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.06371

由 DataCite 颁发的 arXiv DOI(待注册)

期刊 参考: Proceedings of EMNLP 2026, pp. 2803-2813
相关 DOI: https://doi.org/10.18653/2026.emnlp-main.121

链接到相关资源的 DOI

提交历史

来自:Steffen Castle [查看电子邮件]
[v1] 2026年11月4日星期三 11:32:20 UTC(119 KB)

来源:arXiv cs.CL · arxiv.org