arXiv cs.AI· Shuyue Stella Li, Jacqueline He, Jiahui Chen, Sreya Dutta Roy, Yulia Tsvetkov, Luke Zettlemoyer, Marjan Ghazvininejad, Xiaochuang Han·· 3 天前AI 评分37
IsoVRBench：无需人类反馈的视频奖励建模基准
IsoVRBench: Video Reward Modeling Without Human Feedback
AI 导读
研究者提出 IsoVRBench，一个通过受控干预生成 8,000 对偏好样本的视频奖励建模基准，覆盖八种干预方式，无需人工标注。当前最强奖励模型在帧序重排任务上仅达 60.8%，而人类为 100%，且现有基准排名无法预测这一失败。
正文 · AI 翻译
摘要：视频奖励模型基于人类对视频的偏好进行训练和评估，而这些视频往往在提示对齐、视觉保真度、运动以及生成器身份等属性上同时存在差异。因此，总体准确率无法揭示奖励模型能够可靠区分哪些视频属性。我们通过受控干预构建偏好对，即改变生成视频的一个属性而保持其余属性不变。由此构建的偏好对天然提供了视频在特定维度上差异的偏好信息，且无需任何人工标注。我们提出 IsoVRBench，一个包含 8,000 个此类偏好对、涵盖八种干预的视频生成奖励建模基准，并表明最先进的模型能够区分生成器之间的整体质量差异，却会遗漏诸如时间顺序等重要特征。最佳奖励模型在帧重排任务上仅达到 60.8%，而人类为 100%，且现有基准上的排名无法预测这一失败。将合成的孤立干预偏好对用作训练数据可带来：1）IsoVRM，一个奖励模型，在 VBench-2.0 上比使用更大规模人工标注偏好数据集训练的对应模型高出 3.8 分；2）IsoWan，使用 IsoVRM 后训练的视频生成器，在人类偏好上优于使用人工数据的对应模型；3）与人工数据结合时收益可叠加。由于干预偏好对是自动生成而非收集的，该基准和训练数据可随生成器的演进而轻松扩展。
| 评论： | 20 页，18 张表，6 张图 |
| 主题： | 人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.17234 [cs.AI] |
| （或 arXiv:2610.17234v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17234 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Shuyue Stella Li [查看邮箱]
[v1]
2026年10月12日星期一 18:03:36 UTC（6,616 KB）
来源：arXiv cs.AI · arxiv.org