跳到正文
RadarAI· X:Rohan Paul (@rohanpaul_ai)·· 20 小时前AI 评分46

宾州州立大学论文提出 BadEvolve:20 个投毒任务可让自进化 LLM Agent 在自身技能中植入后门

宾州州立大学论文提出 BadEvolve:投毒任务可让自进化 LLM Agent 在自身技能中植入后门

AI 导读

宾州州立大学等机构提出 BadEvolve 攻击框架,仅向自进化 Agent 的学习集注入 20 个投毒任务,并用 LLM 优化器调整措辞,即可诱导其把后门规则写进自身技能。在 Kimi-K2.5 上跨 4 个框架、3 个 benchmark 的测试中,攻击者指定 payload 的注入成功率达 79.6%,最佳基线为 37.6%,而干净任务准确率仅下降 1.1 点,后门难以察觉。

正文 · AI 翻译

Rohan Paul· @rohanpaul_ai · X·2026-11-17 09:58· 1 小时前AI 评分58

AI 导读

宾州州立大学等机构论文提出 BadEvolve 攻击框架,只需向自进化 Agent 的学习集注入 20 个投毒任务,即可诱导其在自身技能中植入后门。

正文 · 原文

宾州州立大学的新论文表明,攻击者只需混入投毒的训练任务,就能让自进化 AI Agent 在自身技能中植入后门。

自进化 Agent 会把过往运行转化为可复用的技能,因此技能中的一条坏规则会在未来任务中持续触发。此前的攻击假设可以直接编辑技能,但当技能由 Agent 自己编写时,这一假设很少成立。

BadEvolve 只向 Agent 的学习集中注入 20 个任务,然后用 LLM 优化器调整其措辞。它会检查每次尝试在何处失败:规则是否被写入技能、是否被加载、是否被遵循,以及是否产生了攻击者的目标。

在 4 个框架和 3 个基准测试上,它在 Kimi-K2.5 上以 79.6% 的概率注入了攻击者选定的载荷,而最佳基线为 37.6%。干净任务准确率仅下降 1.1 个百分点,因此该后门很难被察觉。

如果你的 Agent 从用户提交或外部任务中学习技能,请将这些任务视为不可信,并在复用前审查已学到的技能。

– arxiv. org/abs/2611.10542

标题:“当经验变成后门:通过失败感知任务优化对自进化 LLM Agent 投毒”

来源:Rohan Paul · x.com

来源:RadarAI · aihot.news