arXiv cs.AI· Tianyi Wu, Chao Ge, Peng Chen, Fengji Zhang, Yongxing Wu, Yuchong Xie, Jian Li, Chaoyuan Peng, Kaikai Zhang, Dong Huang, Mingzhe Du, Yukai Huang, Jiaheng Zhang, Terry Yue Zhuo, See-Kiong Ng·· 3 天前AI 评分60
Last Secure Code Benchmark：vibe coding 生成的代码安全吗
Last Secure Code Benchmark: Is the Code You Vibe Secure?
AI 导读
研究者提出 Last Secure Code Benchmark，用 150 个真实漏洞构建 450 个任务，覆盖 Java、C、C++、JavaScript。
正文 · AI 翻译
作者：Tianyi Wu、Chao Ge、Peng Chen、Fengji Zhang、Yongxing Wu、Yuchong Xie、Jian Li、Chaoyuan Peng、Kaikai Zhang、Dong Huang、Mingzhe Du、Yukai Huang、Jiaheng Zhang、Terry Yue Zhuo、See-Kiong Ng
摘要：AI 编码智能体如今编写了大量交付上线的代码，但这些代码是否安全仍不明确。我们提出了 Last Secure Code Benchmark，这是对编码智能体安全代码生成的一次全面评估。它基于 150 个真实漏洞构建，其 450 项任务涵盖七种广泛使用的语言（Java、C、C++、JavaScript、Python、PHP 和 Go）、24 个 CWE（包括 2025 年 CWE Top 25 中的 21 个以及 Top 10 KEV 弱点中的 8 个，多于我们对比的任何基准），以及三种 vibe-coding 场景：填写函数、编写文件、从零构建仓库的源码树。每项任务仅通过一份从不提及安全性的规范要求实现功能，并由隐藏的功能测试和安全测试对结果进行评分。在六个前沿智能体中，73.6% 至 91.3% 的任务在功能上通过，但即便最强的 Claude Fable 5，也仅有 25.1% 的任务生成了既功能正确又安全的代码，其他智能体则为 16.4% 至 24.7%。最佳模型在所有 vibe coding 设置下仅通过 12% 的漏洞场景，这引发了对 vibe coding 所编写代码安全性的强烈担忧。
| Comments: | 10 页 |
| Subjects: | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.14766 [cs.CR] |
| （或 arXiv:2610.14766v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14766 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Tianyi Wu [查看邮箱]
[v1]
2026 年 10 月 10 日星期六 09:42:56 UTC（2,287 KB）
来源：arXiv cs.AI · arxiv.org