跳到正文
arXiv cs.AI· Jiongchi Yu, Keke Lian, Junqing Wang, Zhikang Fan, Zhaoxuan Li, Yongheng Huang, Ziming Zhao, Dong Zhang·· 10 小时前AI 评分45

A.S.E 2.0:仓库上下文如何影响 LLM 生成代码的安全性

A.S.E 2.0: Understanding How Repository Context Impacts the Security of LLM-Generated Code

AI 导读

研究团队构建 CASE-Bench,用 51 个真实项目中的 145 个仓库级 CVE 任务,评测仓库上下文对 LLM 生成代码安全性的影响。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大语言模型(LLM)编程助手和智能体在生成代码之前会构建仓库上下文。对于安全敏感的代码,这一上下文决定了模型是看到项目的防护措施(例如授权检查),还是看到可供模仿的不安全代码。然而,上下文构建几乎完全是为功能正确性而设计的,而安全代码基准测试将上下文视为固定不变,因此仓库上下文如何影响生成代码的安全性仍不清楚。我们构建了 CASE-Bench,这是一个包含来自 51 个项目中真实 CVE 的 145 个仓库级任务的基准。每个任务都在 Docker 中运行,具有功能测试和经过双向验证的概念验证漏洞利用,并标注了强制执行或削弱其安全性的仓库代码。使用 CASE-Bench,我们比较了 13 种上下文构建方法和六种对照条件与六个 LLM,编辑单个上下文元素,并分析编程智能体的轨迹。我们发现:(1)面向功能的上下文将功能通过率最多提高 8.2 个百分点(pp),但安全通过率最多仅提高 3.7 pp;(2)省略某项防护措施会使安全通过率最多降低 8.1 pp,而插入一个不安全示例会使正确但可被利用的代码增加 6.3 pp;(3)编程智能体仅在 27-36% 的轨迹中观察到相关防护措施。这些发现为安全感知的上下文构建和安全代码评估提供了参考。
评论: 15 页
主题: 密码学与安全(cs.CR);人工智能(cs.AI);软件工程(cs.SE)
引用为: arXiv:2611.06294 [cs.CR]
  (或 arXiv:2611.06294v1 [cs.CR] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.06294

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Jiongchi Yu [查看电子邮件]
[v1] 2026 年 11 月 4 日星期三 10:29:52 UTC(678 KB)

来源:arXiv cs.AI · arxiv.org