arXiv cs.AI· Rupam Patir, Keyan Guo, Suvadra Barua, Abhijeet Pathak, Dinesh Gudimetla, Jiawei Guo, Hongxin Hu, Haipeng Cai·· 13 小时前AI 评分49
DualGauge：LLM 与编程智能体仅凭规格生成代码的自动化安全-功能联合基准测试
DualGauge: Automated Joint Security-Functionality Benchmarking of Specification-Only Code Generation by LLMs and Coding Agents
AI 导读
DualGauge 是首个全自动联合评估“仅凭规格生成代码”功能正确性与安全性的框架，配套 DualGauge-Bench 包含 307 个编码任务，每个任务的功能与安全测试均源自同一规格。
正文 · AI 翻译
摘要：大语言模型（LLM）以及基于 LLM 的编码智能体如今已被用于根据自然语言规格说明生成代码，但确保此类代码在功能上正确且安全仍是一项挑战。我们提出 DualGauge，这是首个用于联合评估仅依据规格说明生成代码的正确性与安全性的全自动框架，并配套 DualGauge-Bench——一个与语言无关的基准，包含 307 个编码任务，每个任务都配有源自同一规格说明的功能测试与安全测试。我们在 Python、C++ 和 JavaScript 上评估了 10 个具有代表性的 LLM，发现功能正确性会大幅高估可靠的代码生成能力：即便最强的模型，在每种语言中的安全与功能联合成功率也仍低于 15%。常见的模型侧因素——规模、扩展思考、量化、指令微调以及代码专门化——并不能可靠地提升联合表现，这表明安全且正确的代码生成并不会仅仅从更强的编码能力中自然产生。对 3 个领先编码智能体（Codex、OpenHands 和 Claude Code）的评估表明，迭代式脚手架在仅依据规格说明的任务上并非可靠的补救措施：结果高度依赖脚手架，其中三个智能体中有两个未能超过可比的直接模型。一项定性审查揭示，这些失败集中在输出契约边界，以及那些存在但不够充分的防护措施上——这些模式只有通过联合基准测试才能可靠地暴露出来。
| 评论： | 已被 Association for Computational Linguistics: EMNLP 2026 的 Findings 接收 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI）；密码学与安全（cs.CR） |
| 引用为： | arXiv:2511.20709 [cs.SE] |
| （或本版本使用 arXiv:2511.20709v3 [cs.SE]） | |
| https://doi.org/10.48550/arXiv.2511.20709 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Rupam Patir [查看邮箱]
[v1]
2025 年 11 月 24 日星期一 22:26:14 UTC（776 KB）
[v2]
2026 年 6 月 15 日星期一 14:19:33 UTC（407 KB）
[v3]
2026 年 10 月 28 日星期三 21:06:32 UTC（980 KB）
来源：arXiv cs.AI · arxiv.org