arXiv cs.MA· Bangya Liu, Jianhong Tu, Yueyang Pan, Hanhong Zhao, Zhe Ye, Hongwei Li, Saastha Vasan, Katherine Lambert, Junmin Zhu, Hao Wang, Jienan Chen, Yunze Xiao, Minglai Yang, Zihan Wang, Hairong Yin, Hao Wang, Zhiwen Fan, Tianneng Shi, Zhun Wang, Chenguang Wang, Dawn Song·· 3 天前AI 评分39
CyberArena：在实时对称攻防对抗中评测 AI 智能体
CyberArena: Benchmarking AI Agents in Live Symmetric Attack-and-Defense Combat
AI 导读
CyberArena 是一个动态对称的攻防对抗基准，让两个 AI 智能体在隔离沙箱中按相同规则同时扮演攻击方和防御方，围绕持续变化的服务进行多轮对抗。研究团队用 466 场比赛、40 项挑战评测了 12 个前沿 LLM 智能体，并引入动力学模型将对抗过程映射为攻防及领域能力的多维统一评分。该基准还通过自动化智能体流水线持续生成和验证新环境，以延长其使用寿命。
正文 · AI 翻译
作者：Bangya Liu、Jianhong Tu、Yueyang Pan、Hanhong Zhao、Zhe Ye、Hongwei Li、Saastha Vasan、Katherine Lambert、Junmin Zhu、Hao Wang、Jienan Chen、Yunze Xiao、Minglai Yang、Zihan Wang、Hairong Yin、Hao Wang、Zhiwen Fan、Tianneng Shi、Zhun Wang、Chenguang Wang、Dawn Song
摘要：AI 智能体在现实世界中正展现出越来越强的攻防网络安全能力。当前的基准测试大多是在静态目标上孤立地评估智能体。然而，真实的网络行动是动态且相互耦合的：随着攻击方与防御方实时相互适应，安全态势不断变化。静态基准测试很快就会饱和，无法衡量智能体在实时压力下同时进行攻击与防御的能力。为填补这一空白，我们提出了 CyberArena，一个围绕多轮攻防对抗构建的动态、对称对抗基准。在隔离沙箱中，两个智能体在相同规则下竞争，在持续变化的服务上同时充当攻击方和防御方。这将静态目标转化为不断演化的半开放挑战，直接检验智能体在发现、利用和修补漏洞方面的速度与精度。为维持基准的长期生命力，一条自动化的智能体流水线持续生成、审查并验证新环境。此外，由于成对对抗极难量化，我们引入一个动力学模型，将比赛动态映射为涵盖攻击、防御和领域特定能力的统一多维分数。在 466 场比赛、40 项挑战中评估 12 个前沿 LLM 智能体，CyberArena 在单智能体基线触及天花板之处区分出了模型能力。这些轨迹读起来像一场搏斗而非一场考试：防御方补上一个漏洞又漏掉下一个，并依据过时证据确认修复；而能力强的智能体则多想一步，为后续轮次埋下后门，其中一个案例中甚至编写了自己的数据包嗅探器来监视对手。除作为基准之外，CyberArena 还可作为面向未来网络安全智能体研究的可适配、可扩展实验平台。
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2610.19005 [cs.CR] |
| （或 arXiv:2610.19005v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19005 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Bangya Liu [查看邮箱]
[v1]
2026年10月13日星期二 18:05:26 UTC（775 KB）
来源：arXiv cs.MA · arxiv.org