arXiv cs.AI· Tae Eun Choi, Sumin Shim, Junhyeok Kim, Seong Jae Hwang·· 12 小时前AI 评分27
用关键帧锚定注意力与重缩放时间 RoPE 实现语义连贯的生成式补帧
Anchoring and Rescaling Attention for Semantically Coherent Inbetweening
AI 导读
研究提出 Keyframe-anchored Attention Bias 与 Rescaled Temporal RoPE，为生成式补帧（GI）的每个中间帧注入来自关键帧和文本的语义与时间引导，无需额外训练即在短序列和长序列上取得最优的帧一致性、语义保真度与节奏稳定性。
正文 · AI 翻译
摘要：生成式中间帧合成（Generative inbetweening，GI）旨在超越单纯的插值，在首尾关键帧之间合成逼真的中间帧。随着序列变得更稀疏、运动幅度更大，以往的 GI 模型会出现帧不一致、节奏不稳定和语义错位的问题。由于 GI 涉及固定端点和众多可能的路径，该任务需要从关键帧和文本中获得额外引导，以指定预期路径。因此，我们通过关键帧锚定注意力偏置（Keyframe-anchored Attention Bias），将来自关键帧和文本的语义引导与时间引导施加到每个中间帧上。我们还通过重缩放时间 RoPE（Rescaled Temporal RoPE）更好地保证帧一致性，使自注意力能够更忠实地关注关键帧。TGI-Bench 是首个专为文本条件 GI 评估设计的基准，可实现针对挑战的评估，以分析 GI 模型。无需额外训练，我们的方法在多种挑战下的短序列和长序列上均实现了最先进的帧一致性、语义保真度和节奏稳定性。
| 评论： | 已被 CVPR 2026 接收；代码发布于 此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.17651 [cs.CV] |
| （或 arXiv:2603.17651v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.17651 arXiv 通过 DataCite 颁发的 DOI |
|
| 期刊 参考： | Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 8976-8985, 2026 |
提交历史
来自：Tae Eun Choi [查看电子邮件]
[v1]
2026年3月18日 星期三 12:11:02 UTC（36,876 KB）
[v2]
2026年10月20日 星期二 08:16:00 UTC（36,861 KB）
来源：arXiv cs.AI · arxiv.org