跳到正文
arXiv cs.CL· Doyun Kim, Chanwoo Kim, Sugyeong Eo, Yeo-Chan Yoon, Chanjun Park·· 10 小时前AI 评分38

EvoSkill Injection:针对自进化智能体自主技能生成与演化的红队测试

EvoSkill Injection: Red-Teaming Autonomous Skill Generation and Evolution in Self-Evolving Agents

AI 导读

研究者提出 EvoSkill Injection 威胁模型,针对自进化智能体自主生成、精炼和复用技能的流程,并给出红队框架 SARGE,通过迭代生成、升级与强化交互评估该威胁。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:基于 LLM 的智能体系统越来越多地采用基于技能的架构,以降低重复推理成本,并提升任务执行的稳定性和效率。近期研究提出了自进化智能体,它们能够从过往经验中自主生成、改进和复用技能,从而实现能力的持续进化。然而,自主技能进化引入了一个新的攻击面,即恶意能力被生成、存储并作为合法技能复用。本文定义了 EvoSkill Injection,将其作为一种威胁模型,针对自进化智能体的自主技能生成与进化流程。我们进一步提出了 SARGE(Red-teaming Autonomous Skill Generation and Evolution in self-evolving agents),这是一个红队测试框架,通过迭代生成、升级和强化交互来评估该威胁模型。为支撑该框架,我们构建了 EvoSkillBench,这是一个恶意交互轨迹的基准数据集,用于诱导自进化智能体形成恶意技能;并提出了 EvoSkillSafetyBench,这是一个攻击后基准,用于评估注入的恶意技能随后是否会被检索并激活为有害行为。我们的评估表明,SARGE 能够诱导恶意技能形成,且注入的技能会被持久存储并反复激活,凸显了能力持久性受损的风险。
评论: 已被 EMNLP 2026 接收
主题: 人工智能(cs.AI);计算与语言(cs.CL)
引用为: arXiv:2608.30429 [cs.AI]
  (或 arXiv:2608.30429v2 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2608.30429

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Doyun Kim [查看邮箱]
[v1] 2026年8月31日 星期一 08:25:03 UTC(285 KB)
[v2] 2026年11月19日 星期四 13:21:55 UTC(286 KB)

来源:arXiv cs.CL · arxiv.org