arXiv cs.CL· Jiahao Meng, Qize Yang, Yuxuan Wang, Yunfei Chu, Wensi Dai, Jin Xu, Yunhai Tong·· 12 小时前AI 评分29
超越观看与搜索：以视频为中心的深度研究报告智能体基准测试
Beyond Watching and Searching: Benchmarking Agents for Video-centered Deep Research Reports
AI 导读
研究提出以视频为中心的深度研究报告生成任务，并发布 OmniDR-Bench 基准，包含 50 个中英文任务、覆盖 19 个真实子类，共 6,414 条评估标准。配套的 Omni-ARTs 评估体系从视听 grounding、多模态证据使用和交互呈现三个维度打分，18 种智能体配置中最佳系统仅得 63.3 分。现有智能体在内容覆盖广度、跨模态因果逻辑分析和引用准确性上仍有明显不足。
正文 · AI 翻译
摘要：深度研究智能体能够将开放网络证据综合成长篇报告，但现有基准并未评估以源视频为中心的研究。我们提出以视频为中心的深度研究报告生成任务。给定一段视频和用户请求，智能体需要识别研究问题、检索外部多模态证据，并生成与相关视频片段关联的交互式报告。该任务具有直接的实用价值，因为它能帮助用户定位相关片段、核实论断、复现演示流程，并基于视频内容做出明智决策。我们为此任务提出了一种基于技能的工作流和 OmniDR-Bench。在评估方面，我们提出了 Omni 原子评分标准树（Omni-ARTs）。每棵树包含三个维度、23 个共享方向和任务特定的原子二元标准。这些方向用于测试视听基础、多模态证据使用和交互式呈现。审计式评分标准构建（ARC）通过独立证据收集、自动检查、行为校准和迭代人工审查来构建这些树。OmniDR-Bench 包含 19 个真实世界子类别下的 50 个中英文任务，共 6,414 条标准。在 18 种智能体配置中，最佳系统得分为 63.3 分（满分 100 分）。当前智能体仍需更广泛的内容覆盖、更强的跨模态因果与逻辑分析，以及更准确的引用支持。我们进一步分析了模型、运行框架、技能配置、视频类别和研究轨迹。代码和数据发布于 此 https URL。
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.31158 [cs.CV] |
| （或 arXiv:2610.31158v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31158 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiahao Meng [查看邮箱]
[v1]
2026年10月22日 星期四 12:15:30 UTC（9,444 KB）
来源：arXiv cs.CL · arxiv.org