arXiv cs.AI· Xinghao Chen, Xiangbo Gao, Jiongze Yu, Yuheng Wu, Zhengzhong Tu·· 3 天前AI 评分26
ViTeX-Bench：高保真视频场景文本编辑基准发布
ViTeX-Bench: Benchmarking High-Fidelity Video Scene Text Editing
AI 导读
ViTeX-Bench 是一个面向视频场景文本编辑的基准套件，包含 387 个真实 720p 视频（230 个配对编辑用于训练、157 个冻结评测集）和覆盖文本正确性、视觉时序质量、编辑局部性的 13 项指标三轴评测协议。团队同时开源 ViTeX-Edit-14B 参考编辑器，在配对训练集上微调并采用运动对齐的字形-视频条件，CharAcc 达 0.688，为所评测视频原生编辑器中最高均值。
正文 · AI 翻译
摘要：近期的视频生成正变得日益逼真且可控，但视频编辑的发展仍相对滞后，尤其是那些必须保留原始场景动态的精确局部编辑。视频场景文本编辑旨在替换场景表面上的文本，例如店面招牌、白板和产品标签上的文字，同时保留周围的内容、运动和相机动态。尽管场景文本编辑在图像领域已有充分研究，但能够实现高视觉质量、时间一致性和编辑局部性的视频场景文本编辑仍鲜有探索。现有资源提供的配对真实视频数据有限，且通用的视频编辑指标无法直接衡量所请求的文本是否随时间保持正确。我们提出了 ViTeX-Bench，一个包含 ViTeX-Dataset 和三维评估协议的基准套件。该数据集包含 387 个真实世界 720p 视频，配有文本区域掩码和编辑指令：其中 230 个提供经审核、由流水线生成的配对编辑用于训练，157 个构成冻结的评估划分。该协议通过 13 项指标评估文本正确性、视觉与时间质量以及编辑局部性，每个维度设有一项主要指标，并对其权衡进行帕累托比较。OCR 校准、人工评估和标注敏感性分析为这些分数的解读提供了支持。在来自四个编辑家族的八个基线中，准确的文本、时间稳定性和场景保持仍难以同时实现。我们还发布了 ViTeX-Edit-14B，一个开源参考编辑器，在配对训练划分上以运动对齐的字形-视频条件进行微调。它取得了 CharAcc 0.688，为所评估的视频原生编辑器中最高均值，并在原始编辑器输出中取得了最低的可比文本裁剪 Warp。ViTeX-Bench 为研究视频场景文本编辑中的这些权衡提供了可复现的基础。
| 评论： | 被 NeurIPS 2026（评估与数据集赛道）接收。27 页（正文 10 页），5 幅图，12 张表。项目页面：此 https URL v2：更正 ViTeX-Edit-14B 结果，增加关于禁用字形的消融研究 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.40356 [cs.CV] |
| （或 arXiv:2609.40356v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.40356 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Xinghao Chen [查看电子邮件]
[v1]
2026年9月30日星期三 17:59:33 UTC（6,231 KB）
[v2]
2026年10月11日星期日 18:22:18 UTC（6,139 KB）
来源：arXiv cs.AI · arxiv.org