跳到正文
arXiv cs.AI· Siyu Wu, Zeyu Liang, Linghao Wang, Qiyun Zheng, Yi Yao, Ling Lo, Hongxia Xie·· 11 小时前AI 评分31

CASE:面向冻结多模态情感模型的混淆感知技能进化框架

CASE: Confusion-Aware Skill Evolution for Frozen Multimodal Emotion Models

AI 导读

研究者提出 Confusion-Aware Skill Evolution(CASE),首个面向多模态情感识别(MER)的智能体技能框架,通过维护可自我进化的 EmotionSkill 库纠正语义相邻情感间的混淆,推理时保持 MLLM 主干冻结。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:多模态大语言模型(MLLMs)通过对多模态证据进行推理,实现了细粒度的情感理解,从而大幅推进了多模态情感识别(MER)的发展。然而,它们仍然在语义相邻、多模态线索高度重叠的情感之间表现出系统性的混淆。现有方法通常通过全局参数适配来处理这些错误,使得混淆纠正成本高昂且缺乏灵活性。我们转而观察到,情感混淆具有高度局部化的特点,因此更适合通过可复用的成对特定专业知识来解决。基于这一洞见,我们提出了混淆感知技能演化(CASE),这是首个面向 MER 的智能体技能框架。CASE 维护一个稀疏、可自我演化的成对特定 EmotionSkills 库,将情感专业知识从模型参数中外化,使学到的专业知识能够持续精炼,并易于迁移到多种冻结的 MLLM 主干模型上。在推理过程中,CASE 动态检索合适的 EmotionSkill 以强化边界感知推理,同时保持 MLLM 主干模型冻结。在 CA-MER、DFEW 和 EMER 上的大量实验证明了 CASE 在通用型和情感专用型 MLLM 上的有效性和可迁移性。值得注意的是,CASE 将 Qwen3-VL-8B 在 CA-MER 基准上的平均准确率从 46.80% 提升至 59.13%,同时在各类 MLLM 上均取得了一致的增益。
评论: 9 页,6 幅图,4 张表
主题: 人工智能(cs.AI)
引用为: arXiv:2610.32481 [cs.AI]
  (或 arXiv:2610.32481v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.32481

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Siyu Wu [查看电子邮件]
[v1] 2026 年 10 月 23 日星期五 10:50:03 UTC(3,430 KB)

来源:arXiv cs.AI · arxiv.org