arXiv cs.AI· Jiyuan Wang, Huan Ouyang, Jiuzhou Lin, Chunyu Lin, Dewen Fan, Boheng Zhang, Haonan Fan, Honglie Wang, Yiyang Fan, Zhenlong Yuan, Yongrui Heng, Guosheng Lin, Fan Yang·· 13 小时前AI 评分26
CaC:通过分层时空聚焦推进视频奖励模型
CaC: Advancing Video Reward Models via Hierarchical Spatiotemporal Concentrating
AI 导读
研究提出基于视觉语言模型的粗到细异常奖励模型 CaC,推理时先全局扫描定位异常时间窗口,再在局部区间做细粒度空间定位,并通过结构化时空 Chain-of-Thought 推理给出判断。
正文 · AI 翻译
作者:Jiyuan Wang、Huan Ouyang、Jiuzhou Lin、Chunyu Lin、Dewen Fan、Boheng Zhang、Haonan Fan、Honglie Wang、Yiyang Fan、Zhenlong Yuan、Yongrui Heng、Guosheng Lin、Fan Yang
摘要:本文提出 Concentrate and Concentrate(CaC),一种基于视觉语言模型的由粗到细异常奖励模型。在推理阶段,它首先进行全局时间扫描以锚定异常时间窗口,然后在定位区间内进行细粒度空间定位,最后通过结构化的时空思维链推理得出稳健判断。为使模型具备这些能力,我们构建了首个大规模生成视频异常数据集,包含逐帧边界框标注、时间异常窗口和细粒度归因标签。基于该数据集,我们设计了三阶段渐进式训练范式。模型首先通过单帧和多帧监督微调学习空间与时间锚定,然后通过基于两轮组相对策略优化(GRPO)的强化学习策略进行优化。除传统准确率奖励外,我们引入时间与空间 IoU 奖励来监督中间定位过程,有效引导模型进行更具依据、更可解释的时空推理。大量实验表明,CaC 能够稳定聚焦于细微异常,在细粒度异常基准上实现 25.7% 的准确率提升;当作为奖励信号使用时,CaC 将生成视频中的异常减少 11.7%,同时提升整体视频质量。
| 评论: | 被 NeurIPS 2026 接收,27 页,10 张图 |
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2605.11723 [cs.CV] |
| (或本版本 arXiv:2605.11723v4 [cs.CV]) | |
| https://doi.org/10.48550/arXiv.2605.11723 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:JiYuan Wang [查看邮箱]
[v1]
2026年5月12日 星期二 08:08:33 UTC(7,115 KB)
[v2]
2026年5月28日 星期四 12:50:43 UTC(7,116 KB)
[v3]
2026年9月25日 星期五 05:22:14 UTC(7,116 KB)
[v4]
2026年10月29日 星期四 14:19:19 UTC(7,124 KB)
来源:arXiv cs.AI · arxiv.org