arXiv cs.CL· Elyas Rashno, Farhana Zulkernine·· 11 小时前AI 评分24
基于证据验证的智能体框架实现可追踪多模态对话情绪推理
An Agentic Approach with Evidence-Grounded Verification for Multimodal Emotion Reasoning in Conversation
AI 导读
研究者提出一种基于冻结模型的智能体框架，用模态感知智能体在共享板上发布引用证据的观察，再由整合智能体结合检索样例生成情绪描述与标签，并通过证据验证定位失败组件、生成定向提示词补丁。
正文 · AI 翻译
摘要：基于 LLM 的多模态情感推理系统在标准基准上表现良好，但通过指令微调来改进它们可能计算开销高昂。由冻结模型构建的智能体流水线避免了这一成本，但带来了另一个挑战：当预测错误时，系统必须确定是哪个智能体或哪个阶段导致了错误。我们用一个可追溯多模态情感推理与提示空间自适应的智能体框架来解决这个问题。模态特定的感知智能体分析视觉、声学和词汇输入，并将引用证据的观察结果发布到共享板上。一个集成智能体将这些观察结果与检索到的多模态示例相结合，生成情感描述、标签集和支持性引用，而一个 MLLM 评审器可以在输出最终确定前请求一次修订。对于错误预测，一个独立的基于证据的验证阶段应用确定性检查来验证所引用的证据和参考文献是否有效，并进行蕴含检查以确定最终主张是否得到该证据的支持。检测到的失败随后按责任组件和失败类型分组，转换为有针对性的提示补丁，并且只有在留出集上验证后才被接受。这在无需更新模型权重的情况下自适应调整智能体提示。在 MER2025 数据集上，有针对性的提示自适应在从 2B 到 38B 参数的所有四个 MLLM 上均优于冻结的静态流水线，并在每个模型上达到或超过无差别的反思基线：VideoLLaMA3-2B、Phi-3.5-vision-instruct、Qwen2.5-VL-7B-Instruct 和 InternVL2.5-38B。根据骨干模型的不同，F 分数提高了 0.6--2.2 分，其中 Qwen2.5-VL-7B 从 52.3 提高到 54.5。
| 评论： | 已被 NeurIPS 2026 实时多模态对话 AI 研讨会（ReMuCAI）接收，法国巴黎。OpenReview：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；多媒体（cs.MM）；图像与视频处理（eess.IV） |
| 引用为： | arXiv:2610.31685 [cs.CL] |
| （或 arXiv:2610.31685v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31685 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Elyas Rashno [查看电子邮件]
[v1]
2026 年 10 月 3 日星期六 23:36:10 UTC（4,062 KB）
来源：arXiv cs.CL · arxiv.org