跳到正文
RadarAI· X:Rohan Paul (@rohanpaul_ai)·· 2 天前AI 评分39

Google 与 CMU 论文提出 Harmony Harness,多目标进化让自改进智能体更好保留安全收益

AI 导读

Google 与 Carnegie Mellon 的论文提出 Harmony Harness,将 agent harness 的自进化建模为多目标优化,把通过测试与阻断漏洞拆成不同目标分别进化,并在推理时按任务动态组合。在 SecRepoBench 未见崩溃类型上,66.7% 的修复既有效又阻断了漏洞,起始 harness 为 36.7%;安全收益保留 55%,DGM 基线为 0%。

正文 · AI 翻译

Rohan Paul· @rohanpaul_ai · X·2026-10-15 22:11· 1 小时前AI 评分52

AI 导读

Google 与 Carnegie Mellon 的论文提出 Harmony Harness,将 agent harness 的自进化建模为多目标优化,把通过测试与阻断漏洞拆成不同目标分别进化,并在推理时按任务动态组合。在 SecRepoBench 未见崩溃类型上,66.7% 的修复既有效又阻断了漏洞,起始 harness 为 36.7%;安全收益保留 55%,DGM 基线为 0%。

正文

Google 与 Carnegie Mellon 的新论文发现,当安全作为独立目标进行进化时,自我改进的 agent 能更好地保住安全收益。

Agent harness,即模型周围的提示词、工具和循环,如今可以根据反馈自我重写。大多数此类系统只追求单一分数,比如测试通过率,而它们获得的安全收益在新任务上大多会消失。

Harmony Harness 会进化出多个 harness 版本,每个版本被推向通过测试与阻断漏洞之间的不同平衡。它还将通用修复与基准特定修复分开,并按任务选择使用哪些部分。

在 SecRepoBench 中未见过的崩溃类型上,其 66.7% 的修复既有效又阻断了漏洞,而起始 harness 为 36.7%。它在这些任务上保留了 55% 的安全收益,而 DGM 基线保留了 0%。

当你让 agent 自我改进时,要把安全作为它自己的分数来跟踪,并在留出任务上检查它。

来源:Rohan Paul · x.com

来源:RadarAI · aihot.news