arXiv cs.AI· Binhang Qi, Yiming Liu, Yun Lin, Yangjie Zhou, Hailong Sun, Jin Song Dong·· 12 小时前AI 评分38
Req2Test-Bench：评估 LLM 智能体从软件需求生成行为充分测试的能力
Benchmarking LLM Agents for Behaviorally Adequate Test Generation from Software Requirements
AI 导读
研究者推出 Req2Test-Bench，包含从 8 个开源项目 BDD 产物中回收的 5,086 个执行验证实例，覆盖 5 种编程语言和 4 个 BDD 框架，要求智能体在行为实现被隐藏时仅凭 Gherkin 需求生成完整测试实现。
正文 · AI 翻译
摘要：随着大语言模型智能体越来越多地将自然语言需求编译为仓库级代码，需求到测试的生成变得愈发重要，因为它能提供验证约束（或测试框架）来引导代码生成。然而，目前尚不清楚当前智能体在行为实现被隐藏的情况下，能否生成验证所需行为的测试。现有的测试生成基准大多聚焦于白盒测试，而需求—测试相关研究通常需要在给定文档与生成测试之间的语义对齐上进行评估。
我们提出 Req2Test-Bench，一个包含 5,086 个经执行验证的实例的基准，这些实例从 8 个开源项目中由开发者编写的行为驱动开发（BDD）产物中恢复而来，涵盖 5 种编程语言和 4 个 BDD 框架。每个实例将 Gherkin 格式的自然语言需求与其开发者编写的测试实现配对。给定需求、所需行为的目标接口，智能体必须生成完整的、可能包含多个文件的测试实现。对 8 种智能体—模型—推理配置的评估揭示了执行成功与行为充分性之间的巨大差距，后者被严格衡量为 kill-completeness：一个 kill-complete 测试会杀死真实测试所杀死的每一个变异体。表现最佳的配置 Codex 搭配 DeepSeek-V4.1-Flash 为 82.8% 的实例生成了通过的测试，但只有 33.8% 在行为上充分。我们发现：(1) 扩大智能体规模相对于生成成本在行为充分性上带来的收益急剧递减；(2) 需求描述不充分导致信息差距，包括模糊的设置和隐含的预期结果；(3) 基于需求的测试框架引导智能体的非确定性，提供了一条有前景的改进方向。
| 学科： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.36584 [cs.SE] |
| （或本版本的 arXiv:2610.36584v1 [cs.SE]） | |
| https://doi.org/10.48550/arXiv.2610.36584 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Binhang Qi [查看邮箱]
[v1]
2026年10月27日 星期二 03:41:55 UTC（339 KB）
来源：arXiv cs.AI · arxiv.org