arXiv cs.AI· Cheng Gui, Xiang Zheng, Xingjun Ma, Kaidi Xu, Cong Wang, Weiying Ma·· 12 小时前AI 评分47
SEEK:用演化知识对抗前沿科学智能体的技能提取攻击
SEEK: Skill Extraction with Evolving Knowledge against Frontier Science Agents
AI 导读
研究团队构建了覆盖 8 个开源与闭源科学智能体平台、40 项受保护技能的可扩展基准,发现全部 8 个平台(100%)至少泄露一项受保护技能,其中 4 个在单次直接请求下攻击成功率达 100%。
正文 · AI 翻译
摘要:科学智能体日益将领域专业知识打包为可复用的技能,用于规划分析、选择工具并执行工作流。这种模块化带来了机密性风险:传递技能能力的交互也可能泄露技能本身。我们构建了一个可扩展的基准,涵盖八个开源和闭源科学智能体平台上的 40 项受保护技能,在基于参考和无参考评估下比较直接探测、固定策略探测和 bandit 引导的迭代探测。泄露普遍存在:全部八个平台(100%)至少泄露一项受保护技能,其中四个在单次直接请求下即达到 100% 攻击成功率。为压力测试那些能抵御简单探测的平台,我们提出 SEEK(Skill Extraction with Evolving Knowledge),一种黑盒、自进化的红队智能体,它将从响应中获得的证据整合到持久记忆中,并进化出可复用的攻击技能,且仅使用用户可见的响应。在 SpatialAgent 和 Biomni 的 12 项技能上,SEEK 达到 100% 攻击成功率,同时相比 bandit 引导的探测将平均首次成功轮次分别减少 31.8% 和 38.2%。面对阻止全部三种基准协议的机密性策略,SEEK 仍能提取六项受保护技能中的一项。这些发现表明,当前的科学智能体无法可靠地保护其技能,防御措施必须针对自适应的多轮攻击者进行评估。
| 评论: | 12 页,3 幅图 |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2610.34365 [cs.LG] |
| (或 arXiv:2610.34365v1 [cs.LG] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.34365 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Cheng Gui [查看电子邮件]
[v1]
2026 年 10 月 25 日星期日 15:19:13 UTC(4,341 KB)
来源:arXiv cs.AI · arxiv.org