Adobe 与 UCSD 提出 EditAgent，让 AI 智能体像 Photoshop 专业用户一样选工具

Adobe 研究人员构建了一个用于图像编辑的 AI 智能体，它将通用编辑器与专用工具配对。标准语言模型利用测量数据比较结果并选出最佳方案。

用于图像编辑的 AI 智能体将复杂请求分解为多个步骤，通常会用相同的工具重试失败的步骤，而另一个模型则通过肉眼观察来评判输出结果。

Adobe Research 和 UC San Diego 的研究人员希望通过 EditAgent 改变这一现状，根据一篇新论文，该系统的工作方式更像 Photoshop 中的专业人士。它为每项任务选择正确的工具，并用确凿的数据将结果与原始图像进行比较。

Overview graphic comparing typical agentic image editing with EditAgent across three columns: Action Space, Observation Space, and Result. The top row shows repeated attempts with the same tools, while the bottom row shows parallel candidates from General, Local, Tone, and Style tools, judged by an off-the-shelf VLM using evidence in a single call. — EditAgent 不会一遍又一遍地重试同一个编辑器，而是用不同方法并行生成候选结果，并让一个未经修改的语言模型一次性比较所有结果。 | 图片：Adobe

通用编辑器在太多任务上失败

在对 600 次图像编辑进行的测试中，由五位专业人士进行盲评，通用编辑器 Flux-2-Klein-9B 有 42.7% 的情况下未能生成可用结果。专用工具解决了其中约三分之二的失败，尤其是在锐化、旋转和缩放方面。用同一个编辑器进行更多重试几乎无济于事。

研究人员还测试了智能体是通过逐步细化结果，还是通过并行生成多个变体表现更好。迭代细化会累积小错误，因为每一轮都建立在已经修改过的图像之上。在专业人士选择了一方的比较中，他们在 78.5% 的情况下更偏好从原始图像生成的并行变体。该智能体所需的评估轮次仅为其一半。EditAgent 正是基于这两项发现构建的。

确凿数据让标准模型成为更好的评判者

EditAgent 将请求规划为多个步骤，并在每一步让通用编辑器与相应的专用工具进行较量。随后，一个标准语言模型在一次处理中比较所有变体。

Architecture diagram of EditAgent using the example of extinguishing a candle flame. Planner, Step Analyzer, and Router select methods from the Capability Pool. Three candidates are generated in parallel with close-ups and change maps as evidence, and a VLM accepts candidate 3. Below, the steps Remove Flame, Add Smoke, and Adjust Lighting follow in sequence. — EditAgent 将请求分解为相互依赖的步骤，并为每一步生成多个候选结果。语言模型根据验证数据选出最佳结果。 | 图片：Adobe

对于每个变体，模型会获得一份验证记录，其中包括编辑区域的特写、改动区域的变更图，以及亮度和颜色的测量统计数据。在一个示例中，一张照片本应被轻微提亮。数据显示，通用编辑器将其过度曝光，并使颜色偏暖。专用工具则保持在规格范围内。

Two examples of verification data. Top: a Removal Specialist and a General Editor remove a smiley patch from a checkered shirt, with the close-up revealing a blurred plaid pattern from the specialist. Bottom: a General Editor and a Photometric Operator brighten a dark still life, with measured brightness, clipping, and color shift values shown beneath. — 特写和测量得到的图像统计数据揭示了语言模型仅查看完整图像时会遗漏的错误。 | 图片：Adobe

研究人员在他们包含 600 次编辑的基准测试上对此进行了测试。评判模型必须从多个候选结果中选出最佳结果，他们统计了它选择专业人士也评为可用的图像的频率。作为对比，他们运行了 EditScore 等模型，这些模型是在人类对图像编辑的评分上微调过的。

在没有验证记录的情况下，测试的七个语言模型都无法匹敌最佳微调模型。有了验证记录后，这七个模型全部击败了所有微调模型。Qwen3.8-27B 有 81.3% 的情况下做出了可用选择，而 EditScore-72B 为 74.8%。对研究人员来说，这表明评判模型看到的内容可能比它如何被训练更重要。

Dot plot of Winner-Set Hit@1 for seven Qwen and Gemma models, each with and without evidence, compared to fine-tuned evaluation models EditScore and EditReward. With evidence, scores rise by 6.3 to 9.3 percentage points, with Qwen3.8-Flash-Next reaching 82.8 percent. — 借助验证数据，所有测试的标准语言模型都优于最强的微调评估模型 EditScore-72B 的 74.8%。 | 图片：Adobe

每轮结束后，EditAgent 还会检查后续编辑是否意外撤销了先前的修改。在论文的示例中，指令“让更多日光进来”使之前磨砂的窗户重新变得透明。该智能体捕捉到这一冲突并加以修正。

Editing sequence of a bathroom in four images. In round 1, the window is frosted. In round 2, adding more daylight makes the glass clear again. The History Check catches the violation and restores the frosted glass while keeping the brighter lighting. — 每轮结束后的后置检查确保后续编辑不会悄悄撤销先前的更改。| 图片：Adobe

EditAgent 在三个基准测试中改进了开源编辑器 Qwen-Image-Edit-2511 和 Flux-2-Klein-9B，并优于其他七个 AI 智能体。在 EdiVal 基准测试中，Qwen 变体在第三轮编辑时略微超过了商业模型 Seedream 4.0 和 GPT-Image-1.5。但该智能体所需的算力约为单一编辑器的十倍，且其性能取决于所接入的工具。

该智能体为更快的编辑器生成训练数据

研究人员还将 EditAgent 用作数据来源。由于该智能体只保留经过验证的结果，它生成了约 26,000 个训练示例。在该数据上微调的编辑器在三个基准测试中均表现更好。另一方面，由 FLUX 直接生成的训练数据实际上使 FLUX 变得更差。随着时间推移，这种权衡可能使该智能体的高算力成本变得值得。

Adobe 于六月将 AI 智能体添加到 Photoshop、Premiere 和其他 Creative Cloud 应用中，最初以公开测试版形式推出。用户描述他们的需求，智能体负责处理各个步骤。这些智能体选择正确工具并检查自身输出的能力如何，这一问题直接适用于 Adobe 已发布的产品。Black Forest Labs 此后已替换了论文中测试的通用模型：新的 Flux 3 Image Klein 拥有 56 亿参数，比 Flux 2 Klein 更小，但在 Black Forest Labs 的内部测试中，其得分高于所有其他开源模型，甚至高于商业版 Flux 2 Pro。

没有炒作的 AI 新闻——由人工精选

订阅 THE DECODER，享受无广告阅读、每周 AI 新闻通讯、每年六次独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。