RadarAI· X：Rohan Paul (@rohanpaul_ai)·· 2 小时前AI 评分58
UC Berkeley 等机构论文：智能体自改 harness 提分的同时会丢掉原本能完成的任务
AI 导读
UC Berkeley、中国科学技术大学等机构的论文发现，通过 harness evolution 在模型冻结下自改提示词、技能、工具或代码的智能体，平均分提高的同时会丢失原本能完成的任务。
正文 · AI 翻译
Rohan Paul· @rohanpaul_ai · X·2026-11-09 18:56· 48 分钟前AI 评分54
AI 导读
UC Berkeley、中国科学技术大学等机构的论文发现，通过 harness evolution 在模型冻结情况下自改提示词、技能、工具或代码的智能体，平均分提高的同时会丢失原本能完成的任务。
正文 · 原文
加州大学伯克利分校及其他顶尖实验室的新论文发现，通过改写自身 harness 来获得更高分数的智能体，也会丢失它们曾经能完成的任务，而平均分掩盖了这一点。
Harness evolution 让智能体在模型保持冻结的情况下编辑自身的提示词、技能、工具或代码。结果通常表现为基准分数提高 1 分，这可能掩盖丢失的任务、更高的成本以及无法迁移的收益。
他们在 2 个 harness 和 2 个基准上，用 GPT-5.4 运行了 4 种演化方法，包括 GEPA 和 HyperAgents。随后，他们将每个演化后的智能体与其初始版本对比，重新测试了 8 次。
全部 16 个演化后的智能体都获得了一些任务，也丢失了另一些任务；其中 1 个将可靠性提高了 5.2 分，却丢失了它原本能覆盖的 10 个任务。在 11 个可靠性提升的智能体中，有 8 个每次运行的成本也更高。
演化智能体 harness 时，要跟踪丢失的任务、每次运行的成本以及在未见任务上的结果，而不仅仅是平均分。
来源：Rohan Paul · x.com
来源：RadarAI · aihot.news