arXiv cs.AI· Trung Nguyen Quang, Yuhao Dong, Shuo Sun, Shuai Liu, Shulin Tian, Kim-Hui Yap, Ziwei Liu·· 4 小时前AI 评分36
Video-HopChain:面向视频推理模型的多跳问题数据集与置信门控探索方法
Video-HopChain: Multi-Hop Questions and Confidence-Gated Exploration for Video Reasoning Models
AI 导读
研究者构建了 Video-HopChain,包含 13,378 个视频上的 22,550 道多跳问题及 1,000 题留出基准,每题串联 3 至 6 个 yes/no 子问题并以整数求和作为可验证奖励。
正文 · AI 翻译
摘要:HopChain 已在静态图像上表明,多跳数据合成能够提升视觉-语言推理能力,因为长链式思维推理会暴露在多个步骤中累积的错误,而用于可验证奖励强化学习(RLVR)的大多数数据很少要求提供一连串视觉证据,因此这些弱点很可能一直未被暴露。我们在视频中观察到同样的问题,而该框架在视频领域尚未被探索。因此,我们构建了 Video-HopChain,这是一个包含 13,378 个视频上 22,550 个多跳视频问题的数据集,并配有一个包含 1,000 个问题的留出基准。每个问题将关于同一视频中若干片段的 3 到 6 个是/否问题串联起来,每个问题根据其答案产生两个整数之一。最终答案是这些整数之和,因此对该和进行精确匹配即可给出 RLVR 所需的可验证奖励。我们首先在标准视频数据集上用 GRPO 训练 Qwen3-VL-8B,然后在 Video-HopChain 上进行第二阶段训练,将八项视频理解与推理基准的平均值从 55.4 提升到 57.9,并改善了其中每一项。然而,在这样的数据集上训练暴露了 GRPO 的一个已知局限:其学习信号来自组内的奖励方差,因此所有 rollout 都错误的难题和所有 rollout 都正确的简单题都会使该组没有梯度。为了在相同计算预算下恢复这些组,我们引入了置信门控探索(CGE)。每个问题进行 8 次 rollout 时,CGE 照常采样前 4 次。如果这 4 次全部正确或全部错误,它就在推理跨度内屏蔽策略最自信的 token 后采样后 4 次,并从损失中移除被屏蔽的位置,同时全部 8 次 rollout 都进入优势计算。使用 CGE 后,平均值进一步提升至 59.3。我们发布了数据集、检查点以及数据生成和训练代码。
| 学科: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2609.25773 [cs.CV] |
| (或使用 arXiv:2609.25773v3 [cs.CV] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2609.25773 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Trung Nguyen Quang [查看邮箱]
[v1]
2026年9月22日星期二 07:08:13 UTC(442 KB)
[v2]
2026年10月14日星期三 12:32:11 UTC(1,053 KB)
[v3]
2026年11月17日星期二 14:33:04 UTC(1,736 KB)
来源:arXiv cs.AI · arxiv.org