arXiv cs.AI· Chenyu Mu, Wenming Weng, Qinrui Wang, Xingsong Ye, Hao Yu, Jun He, Chong Sun, Chen Li, Jing Lyu, Erkun Yang, Cheng Deng·· 13 小时前AI 评分52
WeVisCut:用一个智能体完成从旁白到长视频的完整剪辑
WeVisCut: The Whole Editing Room in One Agent From Narration to Long-Form Video
AI 导读
WeVisCut 是一个从脚本到长视频的生成系统,把工具执行与策略学习接在同一智能体框架内,用共享制作状态让工具反馈影响后续决策与修复。作者用编辑反演加验证回放的四阶段数据管线处理 3,750 条成片,得到超过 130K 训练样本,并训练单个 9B 策略模型。
正文 · AI 翻译
作者:Chenyu Mu、Wenming Weng、Qinrui Wang、Xingsong Ye、Hao Yu、Jun He、Chong Sun、Chen Li、Jing Lyu、Erkun Yang、Cheng Deng
摘要:根据旁白生成长篇视频需要相互依赖的决策,且这些决策在各镜头之间保持连贯。现有的智能体式编辑器通常采用由通用模型驱动的多阶段工作流,使得紧凑、面向任务适配的策略在质量与成本之间的权衡仍不明确。我们通过 WeVisCut 填补这一空白,这是一个将工具执行与策略学习相连接的长篇脚本到视频系统。其智能体框架维护共享的制作状态,使工具反馈能够为后续决策与修复提供依据。由于成品视频并不暴露这些决策,我们的四阶段数据流水线将编辑反演与经验证的回放相结合,把恢复出的编辑意图转化为可执行的监督信号。该流水线应用于 3,750 个成品视频,产出超过 130K 个训练样本。我们利用这一监督信号训练单个 9B 策略,使其在同一框架内协调制作并从失败中恢复。此外,我们引入一个包含 100 项任务的基准和五项指标,用于评估编辑质量与交付可靠性。在共享工具环境下,WeVisCut 显著优于其基础模型,并在每成功输出一分钟所生成的 token 数减少近 33 倍的情况下,达到与 Claude Opus 5 相当的性能。在我们提出的指标上,它也优于任务匹配的原生编辑器。
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2610.38352 [cs.CV] |
| (或本版本使用 arXiv:2610.38352v1 [cs.CV]) | |
| https://doi.org/10.48550/arXiv.2610.38352 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Chenyu Mu [查看邮箱]
[v1]
2026年10月28日星期三 06:51:40 UTC(29,603 KB)
来源:arXiv cs.AI · arxiv.org