arXiv cs.AI· Kai Zeng, Moran Li, Zhengwei Wang, Yingchen Yu, Yiheng Lin, Ruichuan An, Ming Lu, Qi She, Wentao Zhang·· 11 小时前AI 评分31
SteerVTE：用风格与字形控制实现无缝视频文本编辑
SteerVTE: Seamless Video Text Editing with Style and Glyph Control
AI 导读
SteerVTE 通过风格与字形控制驱动冻结的视频扩散模型完成精确视频文本编辑，在文本准确度、风格一致性和时序连贯性上显著优于现有视频编辑基线。该框架在冻结的扩散 Transformer 上挂载轻量文本上下文适配器，包含捕捉原文字视觉属性的风格编码器和在线级、字符级双粒度编码目标文本的字形编码器。
正文 · AI 翻译
摘要：视觉文本编辑旨在精确修改图像和视频中的文本，同时保持风格一致性和视觉真实感。尽管在图像领域已取得显著进展，视频文本编辑在很大程度上仍未被探索：这是一项局部化任务，需要在狭小的文本区域内实现笔画级精度，这加剧了跨帧准确性、时间连贯性和风格保真度方面的挑战。我们提出 SteerVTE，一个统一框架，通过风格和字形控制引导冻结的视频扩散模型执行精确的视频文本编辑。SteerVTE 构建于冻结的扩散 Transformer 之上，附加一个轻量级文本上下文适配器，包含两个互补模块：一个风格编码器，用于捕获原始文本的视觉属性；以及双粒度字形编码器，在线和字符两个层级对目标文本进行编码。为克服视频基础模型固有的弱文本渲染先验，我们进一步提出字形感知空间焦点损失，以及从图像数据扩展到视频数据的三阶段渐进式训练课程。为支持大规模训练，我们还开发了自动合成流水线，并构建了 SteerVTE-1M，这是一个包含一百万个三元组、跨越多样场景、字体和风格效果的数据集。大量实验表明，SteerVTE 在文本准确性、风格一致性和时间连贯性方面大幅优于现有的视频编辑基线。我们的项目页面见 this https URL。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.23254 [cs.CV] |
| （或 arXiv:2606.23254v2 [cs.CV] 为此版本） | |
| https://doi.org/10.48550/arXiv.2606.23254 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | NeurIPS 2026 |
提交历史
来自：Kai Zeng [查看邮箱]
[v1]
2026年6月22日星期一 12:37:15 UTC（45,091 KB）
[v2]
2026年10月23日星期五 08:31:42 UTC（8,783 KB）
来源：arXiv cs.AI · arxiv.org