arXiv cs.AI· Junming Lin, Yuxuan Wang, Zhenxin Lei, Yuxin Liu, Ruixun Liu, Yinsong Yan, Ling Wang, Minghao Han, Yunfei Chu, Shun Lei, Xueyao Zhang, Qize Yang, Jin Xu, Yiwu Zhong·· 14 小时前AI 评分34
OmniReasoning：突破音视频联合推理的极限
OmniReasoning: Pushing the Limits of Audio-Visual Joint Reasoning
AI 导读
研究团队提出 OmniReasoning 方案，包含音视频证据缺一不可的 OmniReasoningBench 基准（1,150 道题）、自动构建训练数据的 OmniQA 数据引擎，以及按模态分解线索的 Modality-Factored Self-Distillation（MFSD）学习方法。
正文 · AI 翻译
作者：Junming Lin、Yuxuan Wang、Zhenxin Lei、Yuxin Liu、Ruixun Liu、Yinsong Yan、Ling Wang、Minghao Han、Yunfei Chu、Shun Lei、Xueyao Zhang、Qize Yang、Jin Xu、Yiwu Zhong
摘要：近期进展使统一的全模态模型能够理解音频、视觉和语言。然而，现有基准、训练数据和学习方法在很大程度上独立处理各模态，导致音视频联合推理能力评估不足且未被充分激发。我们通过基准、数据引擎和学习方法填补这一空白。首先，我们提出 OmniReasoningBench，这是一个音频和视觉证据均不可或缺的基准。它包含跨两项任务的 1,150 道选择题和开放式问题，即视频内推理和视频外推理。其次，我们开发了数据引擎 OmniQA。它自动构建明确需要音视频联合推理的、有证据支撑的问答对，以及指导思维过程标注的带时间戳线索链。除我们的基准外，该引擎还生成训练数据 OmniReasoning-SFT-112K 和 OmniReasoning-RL-19K。最后，我们提出一种同策略自蒸馏方法——模态分解自蒸馏（MFSD）。它在模态特定线索上下文下评估每个采样响应，解耦单个线索及其跨模态交互的贡献，以实现 token 级信用分配。借助我们的训练数据和学习方法，我们的模型 OmniReasoning-30B-A3B 在 OmniVideoBench 上达到 50.0%，在 OmniReasoningBench 上达到 42.5%，分别比基础模型 Qwen3-Omni-30B-A3B-Thinking 提升 12.8 和 9.3 个百分点。此外，它在通用和长视频基准（包括 Video-MME-v2）上取得显著提升。我们希望这项工作为推动全模态联合推理的未来研究迈出坚实一步。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.39490 [cs.CV] |
| （或本版本的 arXiv:2609.39490v2 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2609.39490 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Junming Lin [查看邮箱]
[v1]
2026年9月30日 星期三 10:51:24 UTC（22,317 KB）
[v2]
2026年10月26日 星期一 08:51:09 UTC（13,978 KB）
来源：arXiv cs.AI · arxiv.org