arXiv cs.MA· Wei Fan, JinYi Yoon, Bo Ji·· 10 小时前AI 评分31
AIM：面向多模态 LLM 推理的多智能体辩论自适应交互框架
AIM: Adaptive Interaction in Multi-Agent Debate for Multimodal LLM Inference
AI 导读
研究者提出 AIM，一个在多智能体辩论（MAD）中动态选择智能体间交互模态组合的自适应路由框架，除文本和图之外还引入图像区域、音频片段、视频时空片段等任务相关模态交互。
正文 · AI 翻译
摘要：多智能体辩论（MAD）提升了多模态任务上的推理能力，但其准确性和 token 效率取决于智能体在辩论过程中的交互方式。一个在很大程度上被忽视的设计选择是智能体使用哪些交互模态来交换证据。现有方法依赖固定的基于文本或基于图的交互，这无法传达细粒度的多模态证据，从而降低准确性，并因冗长的描述而抬高 token 成本。为解决这一问题，我们提出了多智能体辩论中的自适应交互（AIM），这是一个自适应路由框架，可在多模态 MAD 中动态选择智能体间交互的最优模态组合。除文本和图之外，AIM 还引入了任务相关的模态交互，即智能体从任务特定的多模态输入中交换目标感兴趣区域，例如图像区域、音频片段或时空视频片段。为确定每个实例的最佳组合，AIM 首先生成结构化基线响应，并提取可解释的路由特征，这些特征刻画了该实例需要哪些证据、基线智能体的置信度如何，以及每种模态在基线响应之外能增加多少新证据。随后，一个轻量级路由器利用这些路由特征来选择模态组合，从而避免融合不足（即智能体错过决定性证据）和过度融合（即冗余模态抬高 token 成本）两种风险。在涵盖三个多模态任务族的八个基准上，\name 取得了最高准确率。与最佳单模态基线相比，组合模态将准确率最多提升 6.4\%，而按实例自适应选择组合，相比每个基准中最准确的固定组合最多再提升 4.2\%，同时 token 数最多减少 53.4\%。
| 评论： | 已被第四十届神经信息处理系统年会（NeurIPS 2026）接收 |
| 主题： | 多智能体系统（cs.MA） |
| 引用为： | arXiv:2611.08950 [cs.MA] |
| （或 arXiv:2611.08950v1 [cs.MA] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08950 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wei Fan [查看邮箱]
[v1]
2026年11月6日星期五 03:58:34 UTC（3,809 KB）
来源：arXiv cs.MA · arxiv.org