arXiv cs.AI· Gil Pasternak, AJ Langley, Tom Yotam, Ellie Kitanidis·· 4 小时前AI 评分38
编码智能体能否编写并转译单元测试
Can Coding Agents Write and Transpile Unit Tests
AI 导读
研究基准测试了三款主流编码智能体(均搭配前沿模型并启用高推理强度),发现其在传统覆盖率指标上远超人类编写的测试套件,但优势并不均衡:测试质量随项目规模增大而明显下降,且优势很大程度来自写出的测试数量更多。智能体跨编程语言转译测试在整体指标上看似不错,但结果仍不稳定、不可靠。
正文 · AI 翻译
摘要:基于大型语言模型(LLM)构建的编码助手已成为现代软件开发的重要组成部分,越来越多地被信任用于执行工作流和端到端地现代化代码。这种信任在很大程度上依赖于通过测试,而这些测试往往由编码智能体自己编写。在这项工作中,我们考察了这些智能体编写可靠测试以及在编程语言之间翻译测试的能力。我们对三个流行的编码智能体进行了基准测试,每个智能体都使用原生前沿模型和高推理强度进行评估。通过在广泛指标套件上进行验证,我们发现编码智能体在传统覆盖率指标上远超人类编写的测试套件。然而,这一优势并不均衡:智能体测试质量随项目规模增大而急剧下降,且大部分优势在于编写了更多测试。我们还表明,智能体测试翻译——尽管在总体上看似强劲——仍然不一致且不可靠。
| 主题: | 软件工程(cs.SE);人工智能(cs.AI) |
| 引用为: | arXiv:2611.21797 [cs.SE] |
| (或 arXiv:2611.21797v1 [cs.SE] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.21797 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Gil Pasternak [查看电子邮件]
[v1]
2026年11月16日星期一 19:16:19 UTC(645 KB)
来源:arXiv cs.AI · arxiv.org