arXiv cs.AI· Jisheng Dang, Kai Wei, Ronghao Lin, Bimei Wang, Hong Peng, Wei-Shi Zheng, Bin Hu, Qi Tian, Tat-Seng Chua·· 11 小时前AI 评分35
THG-Omni：可追溯的以人为中心图监督框架，用于视频推理
THG-Omni: Traceable Human-Centric Graph Supervision for Video Reasoning
AI 导读
THG-Omni 是一个以人为中心的图监督框架，将 Segment Anything Model 3 的参与者轨迹与带时间定位的 Qwen3-VL 标注相连接，用于训练全模态视频推理模型。
正文 · AI 翻译
摘要：全模态模型可以回答关于视频的问题，但它们的预测很少显示是哪个参与者、事件或时间区间支持了答案。此外，仅靠答案级监督无法教会模型解读结构化的视频证据。为了系统地缓解这一问题，我们提出了 THG-Omni，一个以人为中心的图监督框架，它将 Segment Anything Model~3 的参与者轨迹与具有时间定位的 Qwen3-VL 标注关联起来。候选语义声明在用于构建训练问题之前，会先对照源视频和可用音频进行核查，而轨迹几何则提供明确的空间和时间监督。由此生成的问题教会全模态推理模型从结构化图中解读参与者属性、动作、情感、交互及其时间信息。在推理时，THG-Omni 使用由评估视频构建的预测图。在 IntentBench 上的实验表明，与未经适配的主干模型相比，在社交推理、情绪理解和欺骗感知方面均有一致提升。在 NExT-QA 上，THG-Omni 在使用匹配图时达到 89.54\% 的准确率，而不输入图时为 85.10\%。进一步的验证实验表明，紧凑图输入达到 78.22\% 的准确率，而使用完整图为 78.02\%，不输入图时为 77.58\%。一项补充诊断表明，即使没有源视频和音频，预测图仍保留了有助于回答问题的证据。总之，这些发现表明 THG-Omni 提升了以人为中心的视频推理，同时将其证据建立在可识别的参与者和事件之上。我们的代码可在 此 https URL 获取
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.07836 [cs.CV] |
| （或本版本的 arXiv:2611.07836v1 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2611.07836 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kai Wei [查看邮箱]
[v1]
2026年11月5日 星期四 11:15:34 UTC（15,817 KB）
来源：arXiv cs.AI · arxiv.org