arXiv cs.CL· Zhongxing Xu, Zhonghua Wang, Zhe Qian, Shiyan Su, Ming Hu, Xiaocheng Zou, Wei Feng, Mingquan Lin, Yuyin Zhou, Yifan Peng, Hamid Rezatofighi, Zongyuan Ge·· 10 小时前AI 评分31
重新思考尖峰：用步感知解码缓解 MDLM 幻觉
Rethinking in Spikes: Mitigating Hallucinations in MDLMs with Step-Aware Decoding
AI 导读
研究者提出 StepRefine，一种即插即用的解码策略，用于缓解多模态扩散语言模型（MDLM）的幻觉。该方法通过测量每个去噪步相对邻近时间窗口的熵偏差来识别异常步，并在熵尖峰处用概率加权嵌入保留多样推理假设、进行多轮连续细化，再由细化控制器监测分布稳定性以切回标准离散去噪。在多模态基准上，StepRefine 在不同 MDLM 上均显著缓解幻觉。
正文 · AI 翻译
作者：Zhongxing Xu、Zhonghua Wang、Zhe Qian、Shiyan Su、Ming Hu、Xiaocheng Zou、Wei Feng、Mingquan Lin、Yuyin Zhou、Yifan Peng、Hamid Rezatofighi、Zongyuan Ge
摘要：多模态扩散语言模型（MDLMs）的最新进展通过迭代细化展现出强大的全局建模能力。我们观察到，在迭代去噪过程中，掩码不确定性整体呈下降趋势，而少数去噪步骤会出现局部熵尖峰，且与幻觉密切相关。我们认为，可以通过测量每个去噪步骤相对于其相邻时间窗口的熵偏差来识别异常步骤。我们假设，离散 token 提交会丢弃掩码位置上的分布信息，从而在熵尖峰期间限制候选语义与上下文之间的持续交互。为此，我们提出 StepRefine，一种即插即用的解码策略，利用语义上下文实现可靠去噪。我们方法的核心在于在离散去噪与潜在细化之间进行步骤感知切换。模型在熵尖峰步骤采用概率加权嵌入，以保留多样化的推理假设，并执行多轮连续细化。同时，细化控制器监控分布稳定性，以减少不必要的循环并将模型切换回标准离散去噪。通过大量实验，StepRefine 在多模态基准上显著缓解了不同 MDLMs 的幻觉问题。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.12901 [cs.CL] |
| （或 arXiv:2611.12901v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.12901 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhonghua Wang [查看电子邮件]
[v1]
2026年10月14日星期三 07:52:29 UTC（4,035 KB）
来源：arXiv cs.CL · arxiv.org