arXiv cs.AI· Jiaoyang Ruan, Xin Gao, Yinda Chen, Hengyu Zeng, Liang Du, Guanghao Li, Jie Fu, Jian Pu·· 11 小时前AI 评分31
扩散语言模型推理新方法：双向流形一致性实现自验证
Reasoning on the Manifold: Bidirectional Consistency for Self-Verification in Diffusion Language Models
AI 导读
研究者提出 Bidirectional Manifold Consistency（BMC），一种无需训练、无监督的度量，通过前向掩码与后向重建循环量化扩散大语言模型（dLLM）生成序列的稳定性。BMC 可用于无标准答案时判别解答有效性、推理阶段拒绝重采样以集中算力，以及作为稠密几何奖励将稀疏结果监督转为细粒度引导。该工作已被 ICML 2026 接收。
正文 · AI 翻译
摘要：尽管扩散大语言模型（dLLMs）在全局规划方面具有结构性优势，但如何高效验证它们能否通过有效的推理轨迹得出正确答案，仍是一项关键挑战。在本工作中，我们提出一种几何视角：流形上的推理。我们假设，有效的生成轨迹作为稳定吸引子，位于所学分布的高密度流形上，而无效路径则表现出偏离流形的漂移。为将这一思路付诸实践，我们引入了双向流形一致性（BMC），这是一种无需训练、无监督的度量，通过前向掩码与后向重建的循环来量化生成序列的稳定性。在实证上，我们展示了 BMC 在整个推理生命周期中的通用性：（1）在诊断中，它可作为无需真实答案即可判别解答有效性的稳健判别器；（2）在推理中，它支持拒绝重采样，从而有效地将计算资源集中于复杂推理任务；（3）在对齐中，它作为一种稠密的几何奖励，将稀疏的结果监督转化为细粒度的指导，使模型能够超越标准基线实现自我进化。我们的结果确立了内在几何稳定性作为 dLLMs 正确性的稳健指标。
| 评论： | 31 页，7 幅图。已被第 43 届国际机器学习大会（ICML 2026）接收。定稿版本 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.16565 [cs.LG] |
| （或 arXiv:2604.16565v4 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.16565 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Proceedings of the 43rd International Conference on Machine Learning, PMLR 306, 2026 |
提交历史
来自：Jiaoyang Ruan [查看邮箱]
[v1]
2026 年 4 月 17 日星期五 10:17:16 UTC（788 KB）
[v2]
2026 年 4 月 23 日星期四 12:41:25 UTC（788 KB）
[v3]
2026 年 5 月 27 日星期三 14:55:17 UTC（789 KB）
[v4]
2026 年 11 月 5 日星期四 12:30:15 UTC（786 KB）
来源：arXiv cs.AI · arxiv.org