Omnilingual-MsASR：评测全模态大模型的多语言长时多说话人 ASR 基准

Omnilingual-MsASR: Benchmarking Multimodal, Multilingual, Long-Form Multi-Speaker ASR of Omni Large Language Models

AI 导读

研究者推出 Omnilingual-MsASR，一个面向长时多说话人自动语音识别的多语言、多模态基准，覆盖 6 种语言、最长 30 分钟录音、最多 20 名说话人，并提供平行音频与视频输入以考察跨模态一致性。对领先全模态 LLM 的评测显示明显性能瓶颈，tcpWER 常超过 100%，细粒度时间定位、说话人区分与跨模态协同成为关键挑战。

正文 · AI 翻译

作者：Yuan Ge、Pei Zhang、Xize Cheng、Lingzhou Mu、Mingyang Wang、Jin Xu、Baosong Yang、Shengxiang Gao、Jingbo Zhu、Zhengtao Yu、Tong Xiao

查看 PDF HTML（实验性）

摘要：全模态大语言模型（LLM）在音频和视频理解方面已取得显著进展。然而，现有模型难以处理长时、多说话人的视频，尤其是在理解整段视频以及识别谁在何时说了什么方面。为刻画当前全模态 LLM 的能力上限并指导未来模型开发，我们提出 Omnilingual-MsASR，这是一个面向长时多说话人自动语音识别（MsASR）的多语言、多模态基准，涵盖六种语言、最长 30 分钟的录音以及最多 20 位说话人的场景。Omnilingual-MsASR 提供平行的音频与视频输入，用于评估模型的跨模态一致性及其利用跨模态互补线索的能力。对领先全模态 LLM 的广泛评估揭示了显著的性能瓶颈，其 tcpWER 常常超过 100%。这些发现表明，细粒度时间定位、说话人消歧和跨模态协同是未来全模态基础模型的关键挑战。我们的工作见此 https URL。

学科：	计算与语言（cs.CL）
引用为：	arXiv:2610.29455 [cs.CL]
	（或 arXiv:2610.29455v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.29455 arXiv 颁发的 DOI 通过 DataCite（待注册）

提交历史

来自：Yuan Ge [查看邮箱]
[v1] 2026年10月21日星期三 09:11:30 UTC（2,496 KB）

来源：arXiv cs.CL · arxiv.org