跳到正文
arXiv cs.AI· Jiaju Ma, Ashvini Kumar Jindal, Chuhua Wang, Sumithra Bhakthavatsalam·· 10 小时前AI 评分38

MotionGraphicsBench:用程序化验证评估动效图形生成

MotionGraphicsBench: Evaluating Motion Graphics Generation with Programmatic Verification

AI 导读

研究者推出 MotionGraphicsBench,一个含 100 个实例的专家精选基准,用确定性、人类可读的验证程序评估 LLM 根据静态 SVG 和提示词生成动效的能力,而非依赖参考动画或 VLM 评判。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型语言模型能够根据静态图像和自然语言请求生成动态图形,但评估模型在多大程度上遵循结合空间、外观和时间要求的请求仍然很困难。我们推出了 MotionGraphicsBench,这是一个由专家精心策划的基准,包含 100 个实例,用于根据运动编辑提示对输入的静态 SVG 进行动画制作。通过提供所有必需的视觉元素,我们的编辑任务反映了类似设计师的工作流程,并将运动生成与图形生成隔离开来。我们的基准源自真实的 Lottie 运动设计,包含多种时空动画行为的组合。每个基准实例都将其模型输入与一个确定性的、人类可读的验证程序配对,该程序接受不同的有效实现,并报告哪些提示要求通过或失败,而不是与参考动画进行比较或使用 VLM 评判器。我们使用人类标注的动画和合成的测试用例,通过多智能体流水线构建这些程序。在一个包含 180 个动画的平衡测试集上,我们的程序与人类判断的原始一致率达到 93.3%,比前沿 VLM 评判器高出 4.4%-12.8%,同时对人类批准和拒绝的召回率均至少达到 90%。在来自 32 个 LLM 和 12 个提供商的 47 种配置中,pass@1 的范围为 5.0% 到 68.0%。在 15 个模型以其最高推理努力运行时,额外的尝试会改善每个模型,但 pass@32 的范围仍为 38.0% 到 95.0%。我们对验证程序的分析表明,生成的动画往往无法匹配参考姿势、遵循请求的运动轨迹或协调相关事件。我们使用验证程序作为奖励,通过组相对策略优化(GRPO)对 Qwen3.8-27B 进行微调,在留出实例上将 pass@1 从 30.31% 提高到 52.19%。我们的项目页面位于 此 https URL。
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2611.10592 [cs.CV]
  (或此版本的 arXiv:2611.10592v2 [cs.CV])
  https://doi.org/10.48550/arXiv.2611.10592

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Jiaju Ma [查看电子邮件]
[v1] 2026 年 11 月 7 日星期六 08:59:49 UTC(1,606 KB)
[v2] 2026 年 11 月 18 日星期三 08:46:12 UTC(2,871 KB)

来源:arXiv cs.AI · arxiv.org