arXiv cs.AI· Ting Zhu, Huizhi Liang, Boguslaw Obara, Shufei Duan, Varun Ojha·· 3 天前AI 评分20
GeoMER：面向多模态情感识别的欧几里得-双曲联合几何框架
GeoMER: A Joint Euclidean-Hyperbolic Geometry Framework for Multimodal Emotion Recognition
AI 导读
GeoMER 提出欧几里得-双曲联合几何建模框架，通过双曲情感核心路由（HypGeoRoute）在双曲流形上完成几何感知的核心分配与聚合，与欧几里得多模态融合模块（EuclFusion）互补，共同建模 token 级跨模态语义交互与潜在情感表示。
正文 · AI 翻译
摘要：多模态情感识别（MER）旨在通过整合语音和文本等多种模态的信息来理解人类情感。心理学研究表明，情感在其语义表征中呈现出潜在的分层结构化关系。然而，大多数 MER 方法依赖欧几里得表征，这类表征能捕捉细粒度的跨模态交互，但并未显式提供用于组织分层情感结构的几何先验。为弥补这一空白，我们提出 GeoMER，一个联合欧几里得-双曲建模框架，引入双曲情感核心路由，以捕捉 MER 中更高层、更抽象的情感表征。所提框架在两个互补的几何空间中联合建模 token 级跨模态语义交互与潜在情感表征。具体而言，GeoMER 由用于多模态表征融合的欧几里得多模态融合模块（EuclFusion）和在双曲流形上执行几何感知核心分配与聚合、以捕捉更抽象特征表征的双曲几何核心路由（HypGeoRoute）模块组成。HypGeoRoute 模块对欧几里得 token 级建模形成补充。我们在 IEMOCAP 多模态 MER 基准上进行了实验，证明所提方法取得了最佳性能，加权准确率为 83.54%，未加权准确率为 83.35%，优于包括 MemoCMT 在内的欧几里得基线。
| Comments: | 已被 ICONIP 2026（第 33 届国际神经信息处理大会）接收 |
| Subjects: | 声音（cs.SD）；人工智能（cs.AI）；机器学习（cs.LG）；音频与语音处理（eess.AS） |
| Cite as: | arXiv:2610.18587 [cs.SD] |
| （或 arXiv:2610.18587v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18587 arXiv 颁发的 DOI 经由 DataCite（待注册） |
Submission history
来自：Ting Zhu [查看邮箱]
[v1]
2026 年 10 月 13 日星期二 15:48:40 UTC（1,410 KB）
来源：arXiv cs.AI · arxiv.org