跳到正文
arXiv cs.CL· Terry Yue Zhuo, Dingmin Wang, Hantian Ding, Varun Kumar, Zijian Wang·· 2 天前AI 评分40

CTF-Dojo:用可执行环境训练语言模型智能体发现漏洞

Training Language Model Agents to Find Vulnerabilities with CTF-Dojo

AI 导读

研究者推出 CTF-Dojo,首个面向 LLM 智能体训练的大规模可执行运行时,包含 658 个 Docker 容器化的 CTF 挑战并保证可复现。配套自动化流水线 CTF-Forge 可将公开素材在数分钟内转为可用环境。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型语言模型(LLM)在可执行运行时环境中训练时展现出卓越的能力,尤其是在通过可验证反馈循环完成软件工程任务方面表现突出。然而,可扩展且可泛化的执行环境仍然稀缺,限制了训练更强大 ML 智能体的进展。我们推出 CTF-Dojo,这是首个专为训练 LLM 而设计的大规模可执行运行时,具备可验证反馈,包含 658 个功能完整的 Capture-The-Flag(CTF)风格挑战,全部容器化于 Docker 中并保证可复现性。为实现无需人工干预的快速扩展,我们开发了 CTF-Forge,这是一个自动化流水线,可在数分钟内将公开可用的工件转化为即用型执行环境,省去了传统上需要数周专家配置的工作。我们仅使用 CTF-Dojo 中 486 条经过执行验证的高质量轨迹训练基于 LLM 的智能体,在三个竞争性基准(InterCode-CTF、NYU CTF Bench 和 Cybench)上相比强基线取得了最高 9.9% 的绝对提升。我们表现最佳的 32B 模型达到 31.9% Pass@1,确立了新的开放权重最优水平,可与 DeepSeek-V3-0324 和 Gemini-2.5-Flash 等前沿模型相媲美。通过将 CTF 风格任务作为可执行智能体学习的基准,CTF-Dojo 表明,基于执行的训练信号不仅有效,而且对于在不依赖昂贵专有系统的情况下推进高性能 ML 智能体至关重要。
主题: 软件工程(cs.SE);计算与语言(cs.CL);密码学与安全(cs.CR);机器学习(cs.LG)
引用为: arXiv:2508.18370 [cs.SE]
  (或 arXiv:2508.18370v3 [cs.SE] 用于此版本)
  https://doi.org/10.48550/arXiv.2508.18370

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Terry Yue Zhuo [查看邮箱]
[v1] 2025年8月25日 星期一 18:02:23 UTC(532 KB)
[v2] 2025年9月23日 星期二 03:30:33 UTC(534 KB)
[v3] 2026年11月13日 星期五 11:44:46 UTC(537 KB)

来源:arXiv cs.CL · arxiv.org