arXiv cs.CL· Omid Saghatchian, Ali Mahzoun, Khashayar Etemadi, Saeed Reza Kheradpisheh·· 10 小时前AI 评分34
SCRBench：超越等价性检查，评估代码语义变更推理
SCRBench: Beyond Equivalence Checking for Semantic Change Reasoning in Code
AI 导读
研究者构建 SCRBench，包含 67,658 对通过施加代码变更序列生成的 Python 程序对，并在 4,500 对分层子集上评测五个语言模型。等价性准确率达 94.71% 的模型仅能诊断 54.44% 的语义变更，最佳模型也只能精确重建 39.27% 的变更序列，施加五次变更后无模型超过 1.11%。高等价性准确率因此高估了模型对代码变更语义影响的实际推理能力。
正文 · AI 翻译
摘要：理解代码变更如何影响程序语义，是语言模型进行代码推理的一个核心方面。通常通过询问两个程序是否语义等价来评估这一点，但“是/否”的答案并不能揭示模型是否知道是哪个代码变更导致了语义差异，或者哪一系列代码变更产生了修改后的程序。我们研究了直接提出这些问题的两项任务：诊断语义变更和重建代码变更序列，同时还包括检测语义等价性。我们构建了 SCRBench，包含 67,658 对 Python 程序，这些程序对是通过应用保持或改变程序语义的代码变更序列生成的，并在 4,500 对程序的分层子集上评估了五个语言模型。检测语义等价性暴露了较弱模型的不足，其准确率随着变更的累积而下降，但最强的模型仍接近上限。诊断语义变更揭示了等价性准确率所掩盖的弱点：一个等价性准确率为 94.71% 的模型仅能诊断出 54.44% 的语义变更。重建代码变更序列则困难得多：最佳模型仅对 39.27% 的程序对重建出精确序列，而当应用五个变更时，没有模型超过 1.11%。因此，高等价性准确率高估了模型对代码变更语义影响的推理能力。
| 评论： | 17 页，包括参考文献和附录 |
| 主题： | 软件工程（cs.SE）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.41562 [cs.SE] |
| （或 arXiv:2610.41562v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41562 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Omid Saghatchian [查看电子邮件]
[v1]
2026 年 10 月 30 日星期五 10:56:30 UTC（76 KB）
来源：arXiv cs.CL · arxiv.org