arXiv cs.AI· Satoshi Hayakawa·· 14 小时前AI 评分24
从截断到承诺：Uniform 离散扩散模型中的持久上下文
From Truncation to Commitment: Persistent Context in Uniform Discrete Diffusion
AI 导读
研究者提出 committed reveal sampling（CRS），一种无需训练的采样器，将选中的 argmax token 存入后续模型输入作为持久上下文。
正文 · AI 翻译
摘要：均匀状态离散扩散模型并行更新所有 token，同时保持每个位置可修正。即使常用的 top-$p$ 规则在某个位置只留下一个候选，该选择也只影响当前反向步骤，并可在下一个采样步骤被修正。我们追问：当被选中的假设成为后续预测的持久上下文时，会发生什么变化。为此，我们提出提交式揭示采样（CRS），一种无需训练的采样器，它存储选中的 argmax token 并将其插入后续模型输入。我们的分析将持久上下文与截断区分开来。在一个反向步骤内，自适应 top-$p$（无论是否随机化）仅当似然比排序成立时，才复现由可见 token 诱导的更新；而在一个简单的潜在模式模型中，保持选中 token 可见有助于后续并行预测就同一序列级选择达成一致。在实证上，在 Duo 上进行的配对蒸馏实验随后将这种持久效应与单步 top-$p$ 限制和标量温度缩放区分开来。在相同的最终化规则下，无 top-$p$ 截断的 CRS 在 8--64 次函数评估（NFE）的预算内，达到比固定 $p=0.95$ 和 $p=0.9$ 基线更低的生成困惑度（GenPPL）。在 64 NFE 时，在匹配一元熵下的比较也给出 CRS 更低的 GenPPL，在该指标下移动了 GenPPL--熵权衡。基础 Duo 在描述性比较中显示出相同方向，而其他多样性和延续性指标可能对这些操作点给出不同排序。在固定 GPT-2-Large 表示下，与留出文本的分布距离（SOL）在相同的后期 top-$p$ 阈值下也随持久上下文而降低。这些结果将支持集限制和持久上下文识别为该权衡的两种不同控制手段。
| 评论： | 29 页，NeurIPS 2026 DiffuLM workshop |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；概率（math.PR）；机器学习（stat.ML） |
| 引用为： | arXiv:2609.01043 [cs.LG] |
| （或此版本的 arXiv:2609.01043v2 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2609.01043 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Satoshi Hayakawa [查看邮箱]
[v1]
2026 年 9 月 1 日周二 10:43:24 UTC（228 KB）
[v2]
2026 年 10 月 25 日周日 00:19:10 UTC（279 KB）
来源：arXiv cs.AI · arxiv.org