arXiv cs.CL· Ali Shendabadi, Parnia Izadirad, Mostafa Salehi·· 11 小时前AI 评分18
基于 Whisper 的波斯语语音情感识别：ASR 适配与表征降维研究
A Study of ASR Adaptation and Representation Dimensionality Reduction in Persian Speech Emotion Recognition Using Whisper
AI 导读
研究提出基于 Whisper 的波斯语语音情感识别框架，用 PCA 对 Whisper 编码器提取的帧级嵌入向量降维，省去可学习投影层并大幅减少可训练参数。在 ShEMO 数据集上的说话人无关评测显示，PCA 降维持续提升情感识别性能，同时降低训练延迟和内存占用。在波斯语 ASR 任务上微调 Whisper 对下游 SER 仅带来小幅提升，表明语言适配向情感表征的迁移有限。
正文 · AI 翻译
摘要：低资源语言中的语音情感识别（SER）由于标注数据有限，仍是一个具有挑战性的问题。在本工作中，我们研究将 Whisper 用于波斯语 SER，特别关注表示降维和语言特定模型适配。我们提出一个 SER 框架，其中从 Whisper 编码器提取的帧级嵌入使用 PCA 进行降维，从而无需学习投影层，并大幅减少可训练参数的数量。降维后的表示使用基于注意力的池化机制进行聚合，并用轻量级预测头进行分类。此外，我们研究在波斯语自动语音识别（ASR）任务上微调 Whisper 是否能提升下游 SER 性能。在说话人无关评估协议下于 ShEMO 数据集上进行的实验表明，基于 PCA 的降维持续提升情感识别性能，同时减少训练延迟和内存使用。ASR 微调对 SER 仅带来适度增益，表明在所评估条件下，语言适配向情感相关表示的迁移有限。这些发现为在低资源语言中高效使用大型预训练语音模型进行情感识别提供了实用见解。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG）；声音（cs.SD） |
| 引用为： | arXiv:2608.05165 [cs.CL] |
| （或 arXiv:2608.05165v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.05165 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ali Shendabadi [查看电子邮件]
[v1]
2026年5月26日星期二 13:23:02 UTC（129 KB）
[v2]
2026年8月7日星期五 07:14:35 UTC（61 KB）
[v3]
2026年11月2日星期一 17:29:11 UTC（71 KB）
来源：arXiv cs.CL · arxiv.org