arXiv cs.CL· Anubhav Jangra, Smaranda Muresan·· 3 天前AI 评分38
DivAlgo：代码生成模型算法多样性系统评估基准
DivAlgo: A systematic evaluation of algorithmic diversity for code generation models
AI 导读
研究者提出 DivAlgo 基准，包含编程问题的算法多样化解法数据集，并引入轻量级相似度指标以支持大规模评估。对 24 个现代代码生成模型的实验显示，模型无控制生成的代码多样性仅为人类的约 31%，最佳多样化策略也只能达到约 70%。模型虽可被引导按人类策略生成解法，却无法复现人类解法的多样性。
正文 · AI 翻译
摘要：代码生成模型正被积极应用于专业和教育场景。然而，大型语言模型（LLM）生成算法多样化代码的能力在很大程度上仍属未知。我们提出了 DivAlgo 基准，这是一个大规模数据集，包含针对编程问题的算法多样化解决方案。我们还引入了一种轻量级相似度度量，以支持大规模评估。我们在 24 个现代代码生成模型上进行的实验发现，不受控制的模型生成代码的多样性显著低于人类解决方案（仅达到人类多样性的约 31%），即使是最佳的多样化代码生成策略也只能达到人类多样性的约 70%。此外，虽然可以引导模型基于人类策略生成解决方案，但它们无法复现人类解决方案的多样性。这些发现表明，代码生成模型在捕捉人类所展现的算法多样性方面存在局限，并且过度接触模型生成的代码可能会缩窄程序员的算法词汇量。
| 评论： | 24 页，18 幅图 |
| 主题： | 软件工程（cs.SE）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19157 [cs.SE] |
| （或 arXiv:2610.19157v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19157 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Anubhav Jangra [查看电子邮件]
[v1]
2026 年 10 月 13 日星期二 20:24:42 UTC（611 KB）
来源：arXiv cs.CL · arxiv.org