arXiv cs.CL· Kris Kraack·· 2 天前AI 评分22
多模态情感识别系统：融合面部表情、肢体动作、语音与口语文本
A Multimodal Emotion Recognition System: Integrating Facial Expressions, Body Movement, Speech, and Spoken Language
AI 导读
一个融合面部表情、语音、转录文本与肢体动作的多模态情感识别系统在52名参与者的远程用户研究中达到96.43%的准确率，显著高于任一单模态组件（p < 10⁻⁴），且各情绪状态识别率均不低于92.31%。相比之下，单模态模型在真实条件下准确率降至82.97%–87.64%，部分情绪状态识别率低至48.08%，表明基准测试的高性能难以迁移到实际使用场景。
正文 · AI 翻译
摘要：心理评估依赖于临床医生对患者情绪表达的观察与解读，而这一过程容易受到主观性、偏见、疲劳和不一致性的影响。本文提出了一种多模态情绪识别系统，旨在辅助而非取代评估者。该系统结合了面部表情识别、语音情绪识别、基于转录语音文本的情绪识别以及身体动作分析，并将其输出融合为类别概率形式的情绪画像，与整体预测一并呈现给评估者。尽管各单模态模型在其基准测试集上取得了较高准确率，但一项有 52 名参与者表达七种情绪状态的远程用户研究表明，在现实条件下其准确率降至 82.97% 至 87.64% 之间，个别情绪状态的识别率甚至低至 48.08%。在相同条件下，多模态系统达到了 96.43% 的准确率，显著高于每一个单模态组件（$p < 10^{-4}$），且没有任何情绪状态低于 92.31%。这些结果表明，单一通道的强劲基准表现并不能迁移到现实使用中，而多模态融合提供了支持心理评估的工具所需的稳健性。
| 评论： | v2：修订了模型以修正原始实现中的问题，并相应更新了结果；修订并重组了文本，添加了架构图，形式化了融合阶段，更新了参考文献。8 页，4 幅图，8 张表 |
| 学科： | 人机交互（cs.HC）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV）；机器学习（cs.LG）；多媒体（cs.MM）；声音（cs.SD）；音频与语音处理（eess.AS） |
| 引用为： | arXiv:2412.17907 [cs.HC] |
| （或此版本的 arXiv:2412.17907v2 [cs.HC]） | |
| https://doi.org/10.48550/arXiv.2412.17907 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Kris Kraack [查看电子邮件]
[v1]
2024 年 12 月 23 日星期一 19:00:34 UTC（505 KB）
[v2]
2026 年 10 月 15 日星期四 14:23:34 UTC（20 KB）
来源：arXiv cs.CL · arxiv.org