跳到正文
arXiv cs.AI· Youngjae Cho, Won Young Jhoo, Jongsuk Kim·· 10 天前AI 评分22

SUTURE:用 rollout 组结构改进视频时序定位验证器

Beyond Scalar IoU: Structured Verification from Rollout Groups for Video Temporal Grounding

AI 导读

SUTURE 提出一种基于 rollout 组的验证器,通过组内分歧控制目标重加权、按位置覆盖率重分配奖励,并可精确分解为标准 IoU 项与协方差修正项。在五个视频时序定位 benchmark 上,SUTURE 在所有报告的 IoU 阈值下均提升定位性能,其训练策略的推理轨迹也减少了视频起始锚定现象。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:具有可验证奖励的强化学习(RLVR)为将预训练模型适配到视频时间定位提供了一个自然的框架,其中生成的时间区间可以直接与真实区间进行评分。然而,现有的重叠验证器通常独立地对每个 rollout 进行评分,未利用 rollout 组的联合结构。我们提出了 SUTURE,它将验证条件建立在 rollout 组上,并在两个互补的尺度上利用其结构:rollout 之间的分歧控制目标被重新加权的强度,而每个位置上的覆盖度决定奖励质量被重新分配的位置。我们表明,所得的验证器可以精确分解为标准 IoU 项和由 rollout 组决定的协方差修正项。局部梯度诊断发现,在所分析的组中,模型偏好覆盖相对较少支持的目标区域的响应。在五个时间定位基准上,SUTURE 在每个报告的 IoU 阈值上都提升了定位性能。其训练后的策略在推理轨迹中也表现出更少的视频起始锚定:对于较晚的事件,首次时间提及更常与标注目标重叠。总之,这些结果表明,rollout 组的联合结构可以支持一个信息量更大的时间验证器。
评论: 预印本
主题: 人工智能(cs.AI)
引用为: arXiv:2610.07601 [cs.AI]
  (或 arXiv:2610.07601v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.07601

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Youngjae Cho [查看电子邮件]
[v1] 2026年10月6日星期二 01:40:59 UTC(1,827 KB)

来源:arXiv cs.AI · arxiv.org