跳到正文
arXiv cs.AI· Jinbae Seo, Jungin Park, Hyunsung Jang, Namkoo Ha, Jiyoung Lee, Kwanghoon Sohn·· 10 小时前AI 评分38

COTEX:面向多模态智能体的持续工具空间扩展学习

Continual Tool-Space Extension Learning for Multimodal Agents

AI 导读

COTEX 提出持续工具空间扩展学习方法,以适配器级低成本为已训练的多模态智能体新增专用视觉工具,同时保留原有工具使用能力。该方法定位两组参数方向,分别触发工具调用与决定工具选择,并用正交约束让新工具适配器不影响此前的工具选择。实验在两个代表性智能体和三个专用工具上覆盖十项视觉语言基准,原有工具性能最多下降 0.3 分。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:多模态智能体主要依赖裁剪、搜索和代码执行等通用工具,使专用视觉模型处于其工具空间之外。然而,将此类模型引入已训练好的智能体并非易事。挑战在于高效学习每个新工具,同时保留使用现有工具的能力。本工作提出 COTEX,即持续工具空间扩展学习,以高效的适配器级成本添加新工具。COTEX 定位两组参数方向;一组触发工具调用,从而开启多轮推理轨迹,另一组决定选择哪个工具。新工具的适配器被限制在调用方向上,通过正交约束使先前的工具选择不受影响。我们进一步引入一种协议,将专用模型现有的任务特定标注转换为经过验证的工具使用轨迹。在两个代表性智能体和三个专用工具上的实验显示,在十个视觉-语言基准上取得提升,现有工具上的性能最多下降 0.3 个百分点。
学科: 人工智能(cs.AI);机器学习(cs.LG)
引用为: arXiv:2611.23810 [cs.AI]
  (或 arXiv:2611.23810v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23810

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Jinbae Seo [查看邮箱]
[v1] 2026年11月18日星期三 04:14:02 UTC(12,044 KB)

来源:arXiv cs.AI · arxiv.org