arXiv cs.CL· Yanshu Li, Ruixiang Tang, Junyi Jessy Li, Elias Stengel-Eskin·· 3 天前AI 评分24
ActICL：面向智能体式多模态上下文学习的后训练方法
ActICL: Post-Training for Agentic Multimodal In-Context Learning
AI 导读
ActICL 通过两阶段后训练让 MLLM 智能体以工具增强推理自主获取 ICL 上下文，在七个基准和三个 MLLM 上平均性能比标准相似度检索提升 11.6 个百分点，比最强先前基线高 4.4 个百分点。其获取的上下文也可供前沿模型使用，GPT-5.6-Sol 进行 4-shot ICL 时性能比标准检索提升 3.5 个百分点。
正文 · AI 翻译
摘要：多模态上下文学习（ICL）是多模态大语言模型（MLLM）的一项重要能力。其性能与所使用的示例密切相关，因此示例检索成为 ICL 的核心问题。常见方法使用固定评分方法一次性检索所有示例，这可能引入冗余和噪声。上下文感知检索方法应运而生，通过允许从不断增长的上下文中进行增量检索来解决这一问题。然而，这些方法都没有让 MLLM 学会判断自己需要哪些新示例，然后自行进行渐进式检索。为此，我们提出了 ActICL，它训练一个 MLLM 智能体通过工具增强推理来获取并使用 ICL 上下文。ActICL 智能体在迭代推理和工具使用动作中分析自身的信息缺口。基于这些缺口，它进行有针对性的检索以获取一组初始候选。然后，它可以使用现有上下文进一步筛选候选并优化上下文，或者迭代执行新的检索。当智能体判断上下文足以完成任务，或在满足用户请求的情况下达到资源限制时，它将获取的上下文发送给回答模型，该模型可以是智能体本身或另一个 MLLM。我们使用两阶段后训练流程，联合优化智能体的获取和回答能力。在自适应数量的示例下，ActICL 在七个基准和三个 MLLM 上相比标准基于相似度的检索平均性能提升 11.6 个百分点，相比最强先前基线提升 4.4 个百分点。ActICL 智能体获取的上下文也可被前沿模型有效使用。当 GPT-5.6-Sol 执行 4-shot ICL 时，ActICL 的上下文在三个基准上平均比标准检索提升其性能 3.5 个百分点。
| 评论： | 项目页面：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19475 [cs.CV] |
| （或 arXiv:2610.19475v1 [cs.CV] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.19475 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yanshu Li [查看电子邮件]
[v1]
2026年10月14日星期三 02:54:40 UTC（2,614 KB）
来源：arXiv cs.CL · arxiv.org