arXiv cs.AI· Fei Shen, Chengyu Xie, Lihong Wang, Zhanyi Zhang, Xin Jiang, Xiaoyu Du, Jinhui Tang, Tat-Seng Chua·· 3 天前AI 评分31
IMAGAgent：基于约束感知规划与反思的多轮图像编辑框架
IMAGAgent: Orchestrating Multi-Turn Image Editing via Constraint-Aware Planning and Reflection
AI 导读
IMAGAgent 是一个基于"规划—执行—反思"闭环机制的多轮图像编辑智能体框架，通过约束感知规划模块将复杂指令分解为可执行子任务，并利用工具链编排模块调度图像检索、分割、检测与编辑等异构模型。
正文 · AI 翻译
摘要：现有多轮图像编辑范式往往局限于孤立的单步执行。由于缺乏上下文感知和闭环反馈机制，它们在多轮交互中容易产生错误累积和语义漂移，最终导致生成图像出现严重的结构失真。为解决这一问题，我们提出了 IMAGAgent，一种基于“规划—执行—反思”闭环机制的多轮图像编辑智能体框架，在统一流程中实现指令解析、工具调度与自适应修正的深度协同。具体而言，我们首先提出一个约束感知规划模块，利用视觉语言模型（VLM）将复杂的自然语言指令精确分解为一系列可执行的子任务，并受目标单一性、语义原子性和视觉可感知性约束。然后，工具链编排模块根据当前图像、当前子任务和历史上下文动态构建执行路径，实现覆盖图像检索、分割、检测和编辑的异构操作模型之间的自适应调度与协同运作。最后，我们设计了一种多专家协同反思机制，其中中央大语言模型（LLM）将多个视觉语言模型的评估综合为整体反馈，触发细粒度自我修正并记录反馈结果以优化未来决策。在我们构建的 MTEditBench 和 MagicBrush 数据集上进行的大量实验表明，IMAGAgent 在指令一致性、编辑精度和整体质量方面均显著优于现有方法。代码可在 此 https URL 获取。
| 主题： | 图形学（cs.GR）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2603.29602 [cs.GR] |
| （或 arXiv:2603.29602v2 [cs.GR] 为此版本） | |
| https://doi.org/10.48550/arXiv.2603.29602 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Fei Shen [查看邮箱]
[v1]
2026年2月12日星期四 02:37:38 UTC（4,007 KB）
[v2]
2026年10月11日星期日 17:52:50 UTC（6,100 KB）
来源：arXiv cs.AI · arxiv.org