arXiv cs.AI· Jiaqi Qiao, Yifan Lyu, Xiujuan Xu·· 11 小时前AI 评分22
Transformer-GAT：融合 Transformer 与图注意力网络的对话情绪识别框架
Cross-Modal Emotion Understanding: A Transformer-GAT Approach for Dialogue Emotion Recognition
AI 导读
研究者提出 Transformer-GAT 混合框架，用 Transformer 捕捉全局语义信息、用图注意力网络建模模态间细粒度关系，实现跨模态情绪理解。在 IEMOCAP 和 MELD 数据集上，该模型加权 F1 分别达到 72.45% 和 77.37%，优于现有 SOTA 方法。
正文 · AI 翻译
摘要：多模态情感识别是情感计算领域的关键研究方向，在情感分析、智能客服和人机交互中具有广泛应用。然而，现有方法往往依赖单模态特征或简单的多模态融合，未能捕捉全局与局部上下文之间的协同关系，从而限制了模型性能和情感理解能力。为应对这一挑战，我们提出 Transformer-GAT，一种结合 Transformer 与图注意力网络的混合框架，以实现跨模态情感理解。Transformer 用于捕捉全局语义信息，图注意力网络则用于建模模态间的细粒度关系，从而增强情感特征的表示。在 IEMOCAP 和 MELD 数据集上的实验表明，我们的模型加权 F1 分数分别达到 72.45% 和 77.37%，优于当前最先进的方法。这些结果表明，Transformer-GAT 有效整合了多模态特征，平衡了全局与局部上下文，并提供了更深层的情感洞察，为多模态情感计算提供了新方向。
| 评论： | 12 页，9 张图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.29556 [cs.AI] |
| （或 arXiv:2609.29556v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2609.29556 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yifan Lyu [查看邮箱]
[v1]
2026年9月2日 星期三 07:50:49 UTC（3,574 KB）
[v2]
2026年10月16日 星期五 02:40:17 UTC（3,574 KB）
来源：arXiv cs.AI · arxiv.org