arXiv cs.CL· Chuyue Li, Jinpeng Yu, Haozhe Wang, Tian Xueyun, Zhijing Zhang, Bingnan Li, Shuqi Gu, Kan Ren, Jiaming Liu, Ruihua Huang·· 3 天前AI 评分32
AVA-Encoder：面向智能体原生的视频表征学习
AVA-Encoder: Towards Agent-Native Video Representation Learning
AI 导读
研究团队提出 Agentic Video Auto-Encoder（AVA-Encoder），从成片反向构建智能体可读的 Film Knowledge Graph（Film KG），以重建本身作为监督信号。
正文 · AI 翻译
摘要：智能体视频创作系统距离电影级质量仍有很大差距：其底层模型难以规划故事、角色、视觉与声音如何相互配合，而用于学习此类规划能力的高质量创作轨迹也十分稀缺。人类完成的电影体现了这种知识，但其以紧密耦合的视听形式存在，智能体无法直接读取或操作。我们提出智能体视频自编码器（AVA-Encoder），它从完成的电影反向工作，将其转化为智能体原生的表示，并以重建本身作为监督。它将一部电影编码为电影知识图谱（Film KG），由结构化文本节点、带类型的依赖边和关联的多模态资产组成，然后用固定的解码器从该图谱重新生成电影。重建残差被蒸馏为文本梯度，驱动双环自演化：外环学习跨视频的共享编码策略，内环在测试时细化每部电影的电影知识图谱。AVA-Encoder 将重建保真度较最强基线提升 20.7 个百分点；其学习到的策略优于经过精细人工调优的策略，且系统提示词 token 减少 70% 以上；电影知识图谱支持协同编辑，并改善所有测试的下游创作系统。我们发布该框架、一个重建基准和一个电影知识图谱数据集。
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2608.12313 [cs.CV] |
| （或使用 arXiv:2608.12313v3 [cs.CV] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2608.12313 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chuyue Li [查看邮箱]
[v1]
2026年8月12日星期三 17:58:02 UTC（6,731 KB）
[v2]
2026年8月18日星期二 14:28:00 UTC（7,093 KB）
[v3]
2026年10月13日星期二 21:47:04 UTC（7,652 KB）
来源：arXiv cs.CL · arxiv.org