arXiv cs.AI· Subhashini Venugopalan, Jenny Tan, Taylor Roper, Jimmy Tobin, Anton Kast, Alicia Martin, Sam Sepah, Amy Pavel·· 13 小时前AI 评分31
MTG-AD：面向端到端内联音频描述的细粒度评测数据集
Mind The Gap (MTG-AD): Dataset and Fine-grained Evaluation for End-to-End Inline Audio Descriptions
AI 导读
研究者发布 MTG-AD，一个由盲人与视力正常音频描述专家共同标注的 36 小时视频数据集，含 8k+ 条描述，用于评测 MLLM 生成的内联音频描述。配套的 MTG-AD-Eval 框架将生成脚本渲染为音轨，评估其在视频自然静音段内的贴合度。测试显示前沿 MLLM 能准确描述视觉事件并大幅减少语音重叠，但在叙事节奏与流畅度上仍有差距。
正文 · AI 翻译
摘要：音频描述（AD）对于让视觉媒体能够为盲人和低视力（BLV）用户所访问至关重要。虽然多模态大语言模型（MLLM）为按需生成音频描述提供了一种可扩展的解决方案，但它们在“内联”音频描述——必须适配视频中现有静音时段——上的表现仍未被充分探索，尤其是对于多样化的用户生成内容（UGC）。我们对 MLLM 生成的内联音频描述进行了全面研究。首先，我们推出了 MTG-AD，这是一个经过专业标注的数据集，包含 36 小时的视频，每个视频平均约 5 分钟，总计 8k+ 条描述，由成对的盲人和视力正常的 AD 专业人员共同创建，为该任务提供高质量的基准。其次，我们提出了 MTG-AD-Eval，这是一个基于音频描述专家指南的评估框架，提供细粒度、无参考的可操作指标，用于模型改进。关键的是，我们的框架评估端到端任务：它将生成的脚本渲染为音轨，以评估其与原始视频自然静音时段的契合程度，从而最大限度地减少干扰性重叠。我们对前沿 MLLM 的分析表明，虽然模型能够准确描述视觉事件并大幅减少语音重叠，但在叙事节奏和流畅性方面仍存在差距。最后，我们通过实证验证了我们的自动化、无参考指标与视力正常的评分者以及 7 位 BLV 参与者给出的人类质量评分显著相关，发现虽然用户略微偏好人类撰写的音频描述，但他们认为 MLLM 生成的音频描述对理解非常有帮助。我们提供了可操作的系统设计指导，并在 此 https URL 发布 MTG-AD，在 此 https URL 发布 MTG-AD-Eval。
| 评论： | NeurIPS 2026 评估与数据集赛道，camera ready |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；人机交互（cs.HC） |
| 引用为： | arXiv:2610.39955 [cs.CV] |
| （或 arXiv:2610.39955v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39955 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Advances in Neural Information Processing Systems 2026 |
提交历史
来自：Subhashini Venugopalan [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 12:51:38 UTC（4,641 KB）
来源：arXiv cs.AI · arxiv.org