RiskyPy：面向 LLM 生成代码安全与功能联合评估的模型校准提示词生成

RiskyPy: Toward Model-Calibrated Prompt Generation for Joint Security and Functionality Evaluation of LLM-Generated Code

AI 导读

RiskyPy 是一套自动化流水线，利用功能与漏洞金丝雀样本生成按模型能力校准的安全导向代码生成数据集。其 Python 版本覆盖 2025 CWE Top 25 中的 18 类 CWE，共生成 101 条提示词；在 Qwen3-4B 和 Seed-Coder-8B 上，57-72% 的提示词产出可运行代码，仅 5-10% 的生成结果不含 Bandit 告警。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：评估提升 LLM 代码生成安全性的方法，需要能够同时评估安全性与功能性、并适配所研究模型能力的数据集。然而，现有基准的制作成本高昂，且通常未针对选定的模型能力范围进行校准。我们提出 RiskyPy，这是一个自动化流水线，利用功能性与漏洞金丝雀生成面向安全、并校准至模型熟练度的代码生成数据集。我们使用覆盖 2025 年 CWE Top 25 中 18 个 CWE 的领域，为 Python 实例化 RiskyPy，生成了 101 条提示。在 Qwen3-4B 和 Seed-Coder-8B 上的实验表明，生成的任务在功能上仍然可及，57-72% 的提示生成了功能性代码，而仅有 5-10% 的生成结果不含 Bandit 发现，这为联合评估安全改进方法的安全性与功能性留下了空间。

主题：	密码学与安全（cs.CR）；人工智能（cs.AI）；软件工程（cs.SE）
引用为：	arXiv:2610.40735 [cs.CR]
	（或 arXiv:2610.40735v1 [cs.CR] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.40735 arXiv 颁发的 DOI 经由 DataCite（待注册）

提交历史

来自：Daniele Lunghi [查看邮箱]
[v1] 2026年10月29日星期四 14:03:12 UTC（184 KB）

来源：arXiv cs.AI · arxiv.org