arXiv cs.AI· Zhen Wang, Ning Lai, Qingtao Yu·· 11 小时前AI 评分22
CALM：用离线校准的缓存压缩提升视频生成质量
Offline Makes Online Better: Calibrated Cache Compression for Video Generation
AI 导读
CALM 通过离线校准为自回归视频生成的各层各注意力头分配差异化 token 合并比例，在相同显存预算下优于统一合并策略。该方法利用注意力输出误差作为视频质量的轻量代理，离线构建固定的层-头风险图，推理时用动态规划在缓存预算内求解最佳合并比例分配。在三个自回归视频模型上，CALM 将生成视频与原视频的 LPIPS 降低约 21%，并获得更高的视频质量分数。
正文 · AI 翻译
摘要：Token 合并是一种有效的方法，通过聚类时间上冗余的 token 并仅保留少量代表性 token，来降低自回归视频生成中的 KV 缓存内存消耗。然而，现有方法通常在所有注意力层和头上采用统一的合并比例。我们观察到，不同的层和头对 token 合并表现出显著不同但又相互关联的敏感度，并且这些敏感度模式在不同提示下保持一致。基于这一观察，我们提出了 CALM，一种用于层-头合并的校准分配方法，利用离线校准来改进在线缓存压缩。穷举评估所有可能的层-头分配代价过高。为实现高效校准，我们表明注意力输出误差与端到端视频质量高度相关，因此可作为分配风险评估的轻量级代理指标。我们使用该代理指标评估不同的分配策略，并离线构建固定的层-头风险图。在推理时给定缓存预算的情况下，CALM 使用动态规划来确定合并比例的最佳分配。在三个不同的自回归视频模型上的实验表明，在相同内存预算下，CALM 始终优于统一 token 合并，将相对于原始视频的 LPIPS 降低约 21%，同时获得更高的视频质量分数。
| 主题： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI)；机器学习 (cs.LG) |
| 引用为： | arXiv:2610.28192 [cs.CV] |
| （或 arXiv:2610.28192v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28192 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhen Wang [查看邮箱]
[v1]
2026年10月20日星期二 13:33:04 UTC（2,614 KB）
来源：arXiv cs.AI · arxiv.org