arXiv cs.CL· Shanchao Liang, Yiran Hu, Nan Jiang, Lin Tan·· 11 小时前AI 评分44
REPOCOD 基准测试：语言模型能否取代程序员？答案仍是“不能”
Can Language Models Replace Programmers for Coding? REPOCOD Says 'Not Yet'
AI 导读
新基准 REPOCOD 显示，十个 LLM 在其上的 pass@1 均未超过 30%。该基准包含来自 11 个流行项目的 980 个整函数生成任务，其中 50.8% 需要仓库级上下文，每个实例配有 314 个开发者编写的测试用例。研究还发现，检索增强生成的效果优于直接使用目标函数依赖作为上下文。
正文 · AI 翻译
摘要：最近，涌现出若干仓库级代码生成基准，如 CoderEval、DevEval、RepoEval、RepoBench 和 LongCodeArena，用于评估大语言模型（LLM）在 HumanEval 和 MBPP 等独立基准之外的能力。因此，一个自然的问题是：LLM 在真实世界的编码任务中，其表现是否与在这些基准中的表现相似？遗憾的是，人们无法回答这个问题，因为这些基准由短小的补全、合成示例组成，或聚焦于规模有限的仓库，无法代表真实世界的编码任务。
为应对这些挑战，我们创建了 REPOCOD，这是一个 Python 代码生成基准，包含在真实世界大型项目中具有真实依赖关系的复杂任务，以及用于评估源代码的适当指标。它包含来自 11 个流行项目的 980 个整函数生成任务，其中 50.8% 需要仓库级上下文。REPOCOD 为每个实例包含 314 个由开发者编写的测试用例，以便更好地评估。我们在 REPOCOD 上评估了十个 LLM，发现没有一个在 REPOCOD 上达到超过 30% 的 pass@1，这表明有必要构建更强大的 LLM，以帮助开发者进行真实世界的软件开发。此外，我们发现检索增强生成比使用目标函数依赖作为上下文取得了更好的结果。
| 学科： | 软件工程（cs.SE）；计算与语言（cs.CL） |
| 引用为： | arXiv:2410.21647 [cs.SE] |
| （或 arXiv:2410.21647v5 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2410.21647 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shanchao Liang [查看电子邮件]
[v1]
2024 年 10 月 29 日星期二 01:21:05 UTC（1,243 KB）
[v2]
2024 年 10 月 31 日星期四 07:31:31 UTC（1,243 KB）
[v3]
2024 年 11 月 3 日星期日 21:24:10 UTC（1,243 KB）
[v4]
2025 年 6 月 24 日星期二 20:49:51 UTC（2,722 KB）
[v5]
2026 年 10 月 20 日星期二 04:42:17 UTC（2,731 KB）
来源：arXiv cs.CL · arxiv.org