arXiv cs.CL· Fengji Jing, Guy Laban·· 10 小时前AI 评分31
音频大语言模型语音情感识别中的不一致性感知评估
Incongruence-Aware Evaluation of Multimodal Speech Emotion Recognition in Audio Large Language Models
AI 导读
研究提出一种无需阈值的连续“不一致性分数”，用双组分高斯混合模型将文本与音频在 valence-arousal-dominance 空间中的距离量化，并与人类判断对照验证。
正文 · AI 翻译
摘要：语音交互式大语言模型既处理说话者所说的内容，也处理其说话方式，但这两个通道并不总是一致。我们探究这种不一致是否会降低语音情感识别的性能。我们将文本和音频映射到共享的效价-唤醒-支配空间，利用双分量高斯混合模型将二者之间的距离转换为连续、无阈值的不一致分数，并对照人类判断对该分数进行验证。我们在表演式、对话式和自发式语音（eNTERFACE'05、MELD 和 CMU-MOSEI）上评估了三个具备音频能力的模型。在跨模态保持模型不变的情况下，只要存在音频，不一致性就会提高出错几率，这一现象在每个语料库中均成立，且是在控制了真实情感标签和特征空间距离之后得出的。在相同特征上训练的监督分类器表现相反，这表明困难在于这些模型如何组合原始证据，而非信号本身。纯文本效应并不可靠：仅更换读取转录文本的模型，就会在一个语料库上使其符号反转。在不使用情感词典的情况下重建该分数，复现了核心结果，并且在六种更简单的替代方案中，它是唯一能在全部三个语料库中预测错误的无标签分数。代码、数据表和提示词均已发布。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；多媒体（cs.MM）；声音（cs.SD）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2610.40883 [cs.AI] |
| （或 arXiv:2610.40883v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40883 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Guy Laban [查看电子邮件]
[v1]
2026年10月29日 星期四 19:04:50 UTC（434 KB）
来源：arXiv cs.CL · arxiv.org