arXiv cs.CL· Rodrigo Casado Noguerales, Dimitri von R\"utte, Bernhard Sch\"olkopf, Thomas Hofmann, Aran Raoufi·· 11 小时前AI 评分34
Binary Discrete Diffusion：用候选集扩散处理逻辑与规划任务
Binary Discrete Diffusion: Candidate-Set Diffusion for Logic and Planning Tasks
AI 导读
研究者提出 Binary Discrete Diffusion，一种连续时间离散扩散过程，其噪声状态为每个位置上的候选 token 集合（以二值成员向量表示），通过增删候选逐步丢失与恢复信息。
正文 · AI 翻译
摘要：离散扩散模型对诸如文本之类的分类数据噪声序列进行迭代去噪，从而实现具有自我纠错和填充能力的任意顺序生成。这使得它们成为推理、规划以及编码和数学等受限生成任务的有前景的候选方案。然而，掩码扩散和均匀扩散在单次破坏事件中就会抹去 token 的身份，因此其噪声状态无法显式表示部分已解决的不确定性，即仍有若干备选方案看似合理的情况。我们通过 Binary Discrete Diffusion 填补了这一空白，这是一类连续时间离散扩散过程，其噪声状态是每个位置上的一组候选 token，表示为二进制成员向量。二进制扩散通过添加和移除来改变候选集，允许信息逐渐丢失和恢复，同时扩散状态本身表示部分不确定性。在 Sudoku-Extreme、Boxoban 和图着色任务上，二进制扩散的对称形式在匹配的架构和受控的训练、采样与调优预算下，始终优于经过良好调优的强掩码和均匀基线，在 hardest 实例上增益最大，同时在语言建模（Text8、TinyStories、OpenWebText）上保持竞争力。这些结果支持将候选集作为迭代推理的有效中间表示，并表明破坏核可以实质性地改变逆向模型所学到的计算。
| 评论： | 42 页，7 幅图，12 张表 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.28543 [cs.LG] |
| （或 arXiv:2610.28543v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28543 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Rodrigo Casado Noguerales [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 17:11:48 UTC（292 KB）
来源：arXiv cs.CL · arxiv.org