arXiv cs.CL· Neeva Oza, Ishaan Govil, Parul Gupta, Dinesh Khandelwal, Dinesh Garg, Parag Singla·· 11 小时前AI 评分35
LLMs 难以应对简单代码变换：CETBench 代码等价性检查基准发布
LLMs are Brittle to Simple Code Transformations: Introducing CETBench - A Benchmark for Code-Equivalence Checking
AI 导读
研究者提出 CETBench（Code Equivalence with Transformations Benchmark），通过采样程序对并施加随机代码变换生成等价或非等价样本，用于评估 LLM 判断两段程序功能是否等价的能力。
正文 · AI 翻译
摘要：我们研究 LLM 在判断两个程序是否功能等价方面的表现。这是一个重要问题，因为对代码等价性进行基准测试有助于评估 LLM 在代码重写和翻译等任务中的能力。为此，我们推出了 CETBench——基于变换的代码等价性基准——它构建自一个程序仓库，其中的程序可能解决相同或不同的任务。每个数据集实例通过采样一个程序对并应用预定义代码变换的随机序列来创建，从而生成等价或不等价的程序对。我们的分析表明，即使是简单的变换也会导致最先进的 LLM 在代码等价性检查上的性能显著下降。在跨语言场景下比较用不同语言编写的程序时，这些挑战会进一步加剧。为解决这一问题，我们提出了一种简单的基于微调的方法，以提升 LLM 在变换后程序对上的性能。我们的数据集生成方法是通用的，支持跨语言等价性检查、生成难度各异的程序对，以及应用多种变换。在实验中，我们对原始程序的难度水平以及用于生成等价性检查程序对的变换类型进行了消融实验。我们的分析深入揭示了 LLM 在代码等价性任务中的工作机制，并指出它们可能仍远未达到对底层代码的语义理解。
| 评论： | 发表于 ACL Findings 2026 |
| 主题： | 软件工程（cs.SE）；计算与语言（cs.CL）；机器学习（cs.LG）；编程语言（cs.PL） |
| MSC 分类： | 68-02（主）68T50、68T07、68N19、68N30（次） |
| ACM 分类： | I.2.7；I.2.6；I.2.5；D.3.0；D.3.3；D.3.1；F.3.2；F.3.1；F.3.3；D.2.3；D.2.5 |
| 引用为： | arXiv:2506.04019 [cs.SE] |
| （或本版本的 arXiv:2506.04019v2 [cs.SE]） | |
| https://doi.org/10.48550/arXiv.2506.04019 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Findings of the Association for Computational Linguistics: ACL 2026 |
| 相关 DOI： | https://doi.org/10.18653/v1/2026.findings-acl.2070
链接到相关资源的 DOI |
提交历史
来自：Neeva Oza [查看邮箱]
[v1]
2025 年 6 月 4 日星期三 14:47:14 UTC（166 KB）
[v2]
2026 年 10 月 20 日星期二 16:57:53 UTC（1,162 KB）
来源：arXiv cs.CL · arxiv.org