arXiv cs.AI· Qiyan Zhao, Xiaofeng Zhang, Xu-Yao Zhang, Shijie Han, Zhepeng Li, Shunzhi Zhu, Da-Han Wang·· 11 小时前AI 评分31
CoTA++：从信息流视角理解 dMLLM 中的重复诅咒
CoTA++: Understanding the Repeat Curse in dMLLMs from an Information Flow Perspective
AI 导读
针对扩散多模态大模型（dMLLM）近似缓存导致的“重复诅咒”，研究者提出免训练、即插即用的框架 CoTA++，从步内、跨步、跨层三处信息流断裂入手修复。在三个 dMLLM 和两种缓存后端上，CoTA++ 将长回答的样本重复率从最高 99.6% 降至最多 17.0%，并在九个基准上找回大部分因缓存损失的准确率，额外开销低于 15%。
正文 · AI 翻译
摘要：基于扩散的多模态大语言模型（dMLLMs）通过双向注意力的迭代去噪进行解码，这排除了标准的自回归键值缓存。因此，实际部署依赖于近似缓存，在去噪步骤之间复用中间状态。然而，这种缓存常常使响应在相邻位置重复同一个 token，形成破坏句子的连续重复，我们将这一失败称为\emph{重复诅咒}。追踪上下文 token 的信息流揭示了三种扰乱。在单个步骤内，缓存分散了将某个位置锚定在附近上下文 token 上的注意力。在步骤之间，基于相似度的刷新不感知陈旧性，因此某些位置是依据陈旧的键值状态解码的。在层之间，上下文在重复出现处的深层熵无法收敛。据此，我们提出 CoTA++，一个无需训练、即插即用的框架，在每种扰乱产生的源头进行对抗：上下文 Token 注意力重锚定针对当前上下文重新形成注意力路由，解码感知刷新为即将提交的位置保留部分缓存刷新预算，上下文 Token 熵引导投票根据其上下文的深层熵来折减某个位置的置信度，从而重排去掩码顺序。这三个组件在解码步骤中互不重叠的阶段起作用，并可与现有 dMLLMs 和缓存自由组合。在三个 dMLLMs 和两种缓存后端上，CoTA++ 将长响应的样本重复率从最高 99.6\% 降至最多 17.0\%，在九个基准上恢复了因缓存而损失的大部分准确率，并将缓存的加速保持在 15\% 以下的开销，使近似缓存对 dMLLMs 而言变得可靠。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.23290 [cs.AI] |
| （或 arXiv:2610.23290v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.23290 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Qiyan Zhao [查看邮箱]
[v1]
2026年10月16日星期五 10:58:03 UTC（2,876 KB）
来源：arXiv cs.AI · arxiv.org