arXiv cs.CL· Maya K. Nachesa, Vlad Niculae, Vagrant Gautam·· 11 小时前AI 评分42
多模态语音识别模型存在人口统计学偏见：mWhisper-Flamingo 与 Gemini 词错率最高相差 4.05 点
Your Multimodal Speech Model Says I Have a Face for Radio
AI 导读
研究首次对多模态语音识别开展偏见评估，用唇同步技术将不同人脸与同一段音频配对生成视频，测量转写准确率变化。在 mWhisper-Flamingo 和 Gemini 上，按自报性别、族裔及其交叉分组，词错率最多下降 4.05 点。作者指出，增加模态信号未必更好，开发者应评估、修复并公开此类局限。
正文 · AI 翻译
摘要：随着大型神经模型在语言任务上表现越来越好，研究人员正日益构建能够处理多种数据模态的多模态与全模态模型。一个例子是将语音识别模型扩展到视听数据，目标是降噪和多模态字幕。虽然性能和偏见在单模态情形下已被广泛研究，但新模态如何影响这一点尚不清楚，尽管它们在人类中会产生偏见。因此，我们提出了首个多模态语音识别的偏见评估，我们使用唇形同步将不同的脸与相同的音频配对制作视频，并测量语音转录准确率的变化。我们发现 mWhisper-Flamingo 和 Gemini 模型之间存在巨大的服务质量差异，在自我声明的性别、族裔及其交叉类别上，词错误率最多下降 4.05 个百分点。我们的发现指出，开发者应优先评估、修复并说明此类局限，因为通过额外模态提供更多信号并不一定更好，甚至可能导致有偏见的结果。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2605.30472 [cs.CL] |
| （或 arXiv:2605.30472v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.30472 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Maya K. Nachesa [查看邮箱]
[v1]
2026年5月28日星期四 18:42:38 UTC（78 KB）
[v2]
2026年11月5日星期四 14:39:50 UTC（96 KB）
来源：arXiv cs.CL · arxiv.org