arXiv cs.MA· Hao Shi, Hong Yan, Xiaoyang Zhang, Qing Cui, Chao Huang·· 12 小时前AI 评分29
OACap：面向详细视频描述的字幕引导主动观察方法
OACap: Caption-Guided Active Observation for Detailed Video Captioning
AI 导读
研究提出 Observation-Adaptive Video Captioner（OACap），一种以字幕为中心的智能体，将缺失或缺乏支撑的信息转化为定向观察请求，借助时空工具获取证据并迭代验证修订字幕，在固定纯文本阅读器下提升通用视频理解基准表现。
正文 · AI 翻译
摘要：与查询指定感知目标的问答不同，开放式详细描述必须确定要获取哪些证据，以及如何将其整合为连贯的全局描述。我们提出 Observation-Adaptive Video Captioner（OACap），这是一个以描述为中心的智能体，它将缺乏支持或缺失的信息转化为有针对性的观察请求，使用时空工具获取证据，并迭代验证和修订描述。OACap 生成的描述使用固定的纯文本读取器，在通用视频理解基准上持续提升性能。为了更好地诊断其保留的信息，我们引入了 Factual-Semantic Captioning Bench（FSCap-Bench）。其 Core-Support Factuality Score（CSFS）将声明精确度与重要性感知的事实覆盖率相结合，并在 93.0-98.3% 的有效描述对上对四种受控扰动类型作出预期响应。其 Cross-Modal Semantic Round-Trip Score（CSRS）通过匹配源描述和恢复描述中的原子事实，经由视频-描述-视频-描述的往返过程衡量语义保留程度。二者共同将下游文本记忆效用与事实和语义保留联系起来。
| 评论： | 14 页，4 幅图，4 张表。技术报告 |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL）；多智能体系统（cs.MA）；多媒体（cs.MM） |
| ACM 分类： | I.2.10; I.2.7 |
| 引用为： | arXiv:2610.29327 [cs.CV] |
| （或 arXiv:2610.29327v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29327 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hao Shi [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 07:26:26 UTC（2,948 KB）
来源：arXiv cs.MA · arxiv.org