arXiv cs.AI· Guowen Zhang, Boshen Xu, Zihao Yue, Ziheng Wang, Xiaokun Liu, Xin Tao, Wenyu Qin, Pengfei Wan, Qin Jin·· 3 天前AI 评分29
EventLens：面向视频理解的事件结构强化学习框架
EventLens: Event-Structure Reinforcement Learning for Video Understanding
AI 导读
EventLens 是一个以视觉为中心的强化学习框架，通过事件结构恢复来训练视频理解，涵盖事件分割、进程判别和多事件关系推理三类可验证任务，并可用确定性奖励进行 GRPO 训练。在 Qwen3-VL 骨干上，该方法在时间定位与事件敏感推理基准上取得一致提升，同时保持通用视频问答性能。研究还提出多教师在线策略蒸馏（MT-OPD）将多个专用策略整合为统一模型，训练成本显著低于直接混合 RL 优化。
正文 · AI 翻译
摘要：近期多模态大语言模型（MLLMs）在视频问答上取得了强劲结果，但往往无法恢复使视频连贯的时间结构。它们可能合并相邻事件、遗漏单一事件的进展，或推断出事件间不合理的关系。我们将结构化时间理解研究为从视觉证据中恢复事件结构的能力，包括事件边界、单一事件进展和多事件关系。我们认为这一差距源于当前后训练目标与时间推理之间的不匹配，其中字幕式监督使模型能够依赖语言捷径而非视觉时间基础。为解决这一问题，我们提出 EventLens，一个以视觉为中心的强化学习框架，通过事件结构恢复来学习视频理解。EventLens 不重建字幕，而是训练模型在受控扰动下恢复时间结构，例如改变时间粒度、反转进展和打乱事件顺序。我们用三级时间本体实例化该框架，并推导出三个可验证的任务族：事件分割、进展判别和多事件关系推理。这些任务允许确定性奖励，从而无需人类偏好标签或学习到的奖励模型即可进行任务专用 GRPO 训练。我们进一步引入多教师同策略蒸馏（MT-OPD），将专用策略整合为统一模型。在 Qwen3-VL 主干上的实验表明，在时间基础和事件敏感推理基准上取得一致改进，同时保持通用视频问答性能。学习曲线进一步表明，与直接混合 RL 优化相比，EventLens 以显著降低的训练成本实现了相当的下游迁移。
| 评论： | 22 页，8 幅图，13 张表。项目页面：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；多媒体（cs.MM） |
| 引用为： | arXiv:2610.16172 [cs.CV] |
| （或 arXiv:2610.16172v1 [cs.CV] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.16172 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Guowen Zhang [查看邮箱]
[v1]
2026 年 10 月 12 日星期一 04:46:04 UTC（1,015 KB）
来源：arXiv cs.AI · arxiv.org