跳到正文
arXiv cs.AI· Ruchang Yao, Shi Guo, Junhao Zhuang, Mingde Yao, Xin Cai, Jiahao Zhan, Bin Fu, Xinyuan Chen, Yu Qiao, Tianfan Xue·· 3 天前AI 评分26

FlashVSR+:通过混合注意力与奖励产出分布匹配实现高效视频超分

FlashVSR+: Efficient Video Super-Resolution via Hybrid Attention and Reward-Yield Distribution Matching

AI 导读

FlashVSR+ 通过混合注意力架构与奖励产出分布匹配蒸馏(Ry-DMD)训练策略,实现最高 2 倍 DiT 加速和 45% 峰值内存降低,可在单张 24GB RTX 4090 上完成空间不分块的 4K 视频超分。Ry-DMD 利用奖励加权教师 rollout 将黑盒奖励纳入分布匹配,无需通过奖励模型反向传播,并可推广至 T2I 生成。代码、模型与训练数据已开源。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:近期的视频超分辨率(VSR)模型通过扩散蒸馏实现了高效的单步生成。然而,高分辨率推理的成本依然高昂,且蒸馏模型难以与人类偏好对齐。这些挑战要求我们在模型架构和训练策略两方面进行改进。我们提出 \textbf{FlashVSR+} 来同时解决这两个局限。在架构方面,我们基于预训练 VSR 模型中观察到的强局部性引入混合注意力,同时保留稀疏全局交互以实现长程一致性。它实现了最高 $2\times$ 的 DiT 加速和 45\% 的峰值内存降低,使得在单张 24GB RTX 4090 上进行空间不分块的 4K VSR 成为可能。在训练方面,我们提出奖励产出分布匹配蒸馏(Ry-DMD)以实现偏好对齐的单步生成。Ry-DMD 使用奖励加权的教师 rollout 将黑盒奖励纳入分布匹配,而无需通过奖励模型进行反向传播。我们进一步表明,Ry-DMD 可推广到 VSR 之外的 T2I 生成。综合来看,FlashVSR+ 提供了更强的恢复质量,并大幅提升了高分辨率效率,在用户偏好上取得了一致的增益。我们在 \href{此 https URL}{\textcolor{FlashBlue}{\textbf{此 http URL}}} 发布了我们的代码、模型和训练数据。
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2610.17552 [cs.CV]
  (或 arXiv:2610.17552v1 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.17552

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Ruchang Yao [查看电子邮件]
[v1] 2026年10月13日星期二 01:22:50 UTC(5,351 KB)

来源:arXiv cs.AI · arxiv.org