arXiv cs.AI· Zhaoyu Chen, Hongnan Lin, Yongwei Nie, Fei Ma, Xuemiao Xu, Fei Yu, Chengjiang Long·· 13 小时前AI 评分22
Invert4TVG：用反转任务保持动作理解能力的时序视频定位框架
Invert4TVG: A Temporal Video Grounding Framework with Inversion Tasks Preserving Action Understanding Ability
AI 导读
Invert4TVG 提出一种时序视频定位（TVG）框架，将三类反转任务作为辅助目标以保持模型的动作理解能力：查询中掩码动词补全、动作识别和视频描述。这些任务由原始 TVG 标注派生，并在强化学习框架中与主任务概率整合。实验显示该方法优于现有最优方法，3B 模型在 Charades-STA 上 R1@0.7 提升 7.1%。
正文 · AI 翻译
摘要：时序视频定位（Temporal Video Grounding，TVG）旨在定位与给定文本查询相对应的视频片段，而该查询通常描述人类动作。然而，我们观察到，当前方法通常以高时序交并比（IoU）为优化目标，却常常难以准确识别或理解视频和查询中的底层动作，从而降低了这些方法的有效性。为解决这一问题，我们提出了一种新颖的 TVG 框架，将基于反转的 TVG 作为辅助目标，以保持模型的动作理解能力。我们从原始 TVG 标注中衍生出三类反转 TVG 任务：（1）动词补全，即给定视频片段，预测查询中被掩码的动词（动作）；（2）动作识别，即识别查询所描述的动作；（3）视频描述，即给定视频片段，生成包含查询相关动作的描述。这些反转任务完全源自原始 TVG 任务，并在强化学习框架内与它们进行概率性整合。通过利用精心设计的奖励函数，模型保持了理解动作的能力，从而提高了时序定位的准确性。实验表明，我们的方法优于最先进的方法，在 Charades-STA 上，对于 3B 模型，R1@0.7 提升了 7.1\%。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2508.07388 [cs.AI] |
| （或 arXiv:2508.07388v3 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2508.07388 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhaoyu Chen [查看邮箱]
[v1]
2025年8月10日星期日 15:38:04 UTC（1,659 KB）
[v2]
2026年2月13日星期五 06:37:58 UTC（7,015 KB）
[v3]
2026年10月29日星期四 07:25:14 UTC（7,014 KB）
来源：arXiv cs.AI · arxiv.org