arXiv cs.AI· Ambroise Aigueperse, Hugo Buurmeijer, Carmen Amo ALonso, Marco Pavone·· 4 小时前AI 评分24
将 Token 提交作为控制面:引导掩码扩散生成的新方法
Token Commitment as a Control Surface for Steering Masked Diffusion Generation
AI 导读
研究提出将 token 提交策略作为掩码扩散模型的控制面,拆分为"提交哪些 token"与"每步提交多少 token"两个决策。前者用模型置信度与留一 token 目标贡献的混合排序未解析位置,后者采用由目标进度与置信度驱动的校准自适应预算。在 LLaDA 系列的语言与视觉语言设置中,两种机制在多个目标、两种激活引导方法及无引导对照下均呈现单调的目标质量权衡,并在 Dream-7B 上复现。
正文 · AI 翻译
摘要:掩码扩散模型会反复预测临时 token,随后由采样器决定哪些预测成为永久结果。现有的推理时引导方法主要修改激活值、logits 或去噪轨迹,而将这种承诺策略视为固定的解码细节。我们转而将 token 承诺作为扩散特有的控制面来研究,并将其拆分为两个决策:提交哪些 token,以及每一步提交多少 token。对于第一个决策,我们引入反事实目标感知承诺,它根据模型置信度与留一 token 目标贡献的混合对未解决位置进行排序。对于第二个决策,我们引入由目标进度和置信度驱动的校准自适应预算。在 LLaDA 系列的语言和视觉-语言设置中,针对多个目标、两种激活引导方法以及一个无引导对照,两种机制在我们评估的每种配置下都产生了经验上单调的目标质量权衡。相对于在平均去噪成本上匹配的无评分器随机调度,自适应调度也能恢复有竞争力的工作点。由于两种机制都只需要对临时补全结果评估一个标量分数,因此当目标是任务成功的自动代理而非输出属性时,它们可以原样应用:对话摘要的 NLI 蕴含和图像描述的 CLIPScore,二者都不对应于单一可复用的引导方向。我们在第二个掩码扩散系列 Dream-7B 上,针对一个控制目标和一个任务成功目标,复现了两种机制的行为。这些结果将承诺——哪些临时预测变得不可逆,以及以多快的速度——刻画为在我们测试的条件下引导掩码扩散生成的可解释控制面。
| 学科: | 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG) |
| 引用为: | arXiv:2611.21669 [cs.CL] |
| (或本版本的 arXiv:2611.21669v1 [cs.CL]) | |
| https://doi.org/10.48550/arXiv.2611.21669 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Ambroise Aigueperse [查看邮箱]
[v1]
2026年11月11日星期三 22:41:39 UTC(9,172 KB)
来源:arXiv cs.AI · arxiv.org