跳到正文
RadarAI· X:Rohan Paul (@rohanpaul_ai)·· 8 小时前AI 评分58

Amazon 与 USC 论文:环境变化会让 Agent 技能失效,选择性维护可恢复价值

Amazon 论文:环境变化会让 Agent 技能失效,选择性维护可恢复价值

AI 导读

Amazon 与 USC 的论文发现,环境变化后保存的 Agent 技能可能从增益变成负担,选择性检查与修复能恢复其价值。研究在 Terminal-Bench 2 和 IRS 税表等 4 个场景中测试 Claude Opus 4.7 与 Haiku 4.5,Terminal-Bench 2 上原本为 Opus 加 4.7 分的技能在环境变化后使通过率比无技能低 11.4 分。

正文 · AI 翻译

Rohan Paul· @rohanpaul_ai · X·2026-11-20 03:04· 1 小时前AI 评分55

AI 导读

Amazon 与 USC 的论文发现,环境变化后保存的 Agent 技能可能从增益变负担,选择性检查和维护能恢复其价值。

正文 · 原文

Amazon 的一篇新论文发现,一旦环境发生变化,已保存的 Agent 技能可能反而有害,而选择性地检查和修复它们可以恢复其价值。

Agent 技能会存储过往经验,例如文件路径、字段名或命令,以便 Agent 之后跳过这些工作。当应用或 API 发生变化时,其中部分存储的细节会在毫无预警的情况下过时。

他们在 4 种设置下测试了 Claude Opus 4.7 和 Haiku 4.5,包括 Terminal-Bench 2 和 IRS 税表,分别在变更前后进行。他们的修复方法会在不调用模型的情况下重放已保存的检查,并且只修复或重建存在冲突的技能内容。

在 Terminal-Bench 2 上,一项曾为 Opus 增加 4.7 个百分点的技能,在变更后使其通过率比不使用技能时低 11.4 个百分点。维护工作将 Haiku 的税表字段准确率从使用过时技能时的 30.5% 提升至 97.5%。

在复用已保存的 Agent 技能之前,先对照当前环境进行检查,而不是等到任务失败。

来源:Rohan Paul · x.com

来源:RadarAI · aihot.news