arXiv cs.AI· Aman Tyagi, Hemanth Boinpally, Jonathan Chen, Douglas Gebert, Steven Hickson·· 14 小时前AI 评分38
告别试错：面向图像到视频贴合度的智能体优化框架
Beyond Trial-and-Error: Agentic Optimization for Image-to-Video Adherence
AI 导读
研究提出“Agentic Self-Improvement”框架，将图像到视频生成重构为闭环目标导向优化：先用多模态大模型迭代优化提示词，通过 Davidsonian Scene Graph 查询保障语义贴合。
正文 · AI 翻译
摘要：现代黑盒图像到视频（I2V）模型在自动化内容创作方面提供了强大的能力，但其缺乏细粒度控制和可靠性，在专业工作流程中带来了重大挑战。其固有的随机性导致文本提示或超参数的微小变化会产生截然不同的输出，往往需要低效的暴力试错过程。为解决这些局限，我们引入了“智能体自我改进”（Agentic Self-Improvement）框架，将视频合成重新构建为一个闭环、目标导向的优化过程。我们的框架采用新颖的两阶段方法系统地探索生成参数空间。在第一阶段，迭代式提示优化循环使用多模态大语言模型（mLLM）来精炼输入提示。该精炼过程实现了两项自动化评估：Davidsonian 场景图（DSG）查询确保语义一致性，常见错误问题（CMQ）用于伪影检测。在第二阶段，我们使用贝叶斯优化来高效地协同优化随机种子和 CFG 缩放。该搜索由一套质量指标引导，包括源自 DSG 和 CMQ 评估的新颖视频-文本一致性（VTA）分数。我们的框架显著优于无引导搜索方法：在人类偏好研究中，通过我们智能体方法生成的视频比基线输出更受青睐，胜率高达 69\%。这项工作提供了一种实用且可扩展的方法，用于增强最先进视频生成模型的可预测性和可控性，推动该领域超越推测性的新奇事物，迈向可靠、可投入生产的工具。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；多媒体（cs.MM） |
| 引用为： | arXiv:2608.12290 [cs.CV] |
| （或 arXiv:2608.12290v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.12290 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Aman Tyagi [查看电子邮件]
[v1]
2026年8月12日星期三 17:35:16 UTC（1,635 KB）
[v2]
2026年10月26日星期一 13:52:08 UTC（2,252 KB）
来源：arXiv cs.AI · arxiv.org