arXiv cs.AI· Ruiqi Wang, Xinchen Wang, Cuiyun Gao, Chun Yong Chong, Xin Xia, Qing Liao·· 2 天前AI 评分24
AXIOM：通过约束扰动与校准对代码 LLM-as-a-Judge 进行基准测试
Benchmarking Code LLM-as-a-Judge via Constrained Perturbation and Calibration
AI 导读
研究者提出 AXIOM，一个基于扰动的框架，用于构建代码评估基准。它通过质量约束语义扰动控制程序质量分布，再经混合质量校准筛选语义多样的程序并简化人工标注，据此构建了包含 1,962 道多语言代码评估问题的 AXIOMBENCH。
正文 · AI 翻译
摘要：LLM 辅助开发产生的代码可能包含 API 幻觉等缺陷，这促使人们开发代码评估指标，以便在部署前评估此类代码。由于传统的基于规则的指标仅根据与参考程序的相似度对代码评分，而基于执行的指标需要昂贵的人工测试准备，研究人员开发了 LLM 作为评判者的指标，用于行为和非行为代码评估，并整理了多个基准来验证其有效性。然而，此类基准存在严重局限：一些采用通过/未通过单元测试的粗粒度二元标签，无法区分根本性缺陷与轻微缺陷；另一些采用细粒度标准并以人工标注的分数作为真实值，但这些标准往往定义模糊，导致人工评分带有主观性和不可靠性。此外，它们通常直接提示 LLM 生成用于评估的代码，这可能导致代码质量分布不均衡，无法测试指标在不同质量水平上的区分能力。
为了整理一个具有均衡程序质量分布并简化人工标注的多样化基准，我们提出了 AXIOM，一种新颖的基于扰动的框架。它将程序分数重新定义为部署所需的精化工作量，包含两个阶段：（1）质量约束的语义扰动，提示 LLM 对现有程序应用一系列预定义的扰动规则，精确控制每个程序的目标质量以实现均衡分布。（2）混合质量校准，选择语义上不同的程序以保证基准多样性，并利用多源上下文进行简化的人工标注。借助 AXIOM，我们整理了 AXIOMBENCH，一个大规模多语言基准，包含 1,962 个代码评估问题，分数分布更加均衡……
| 学科： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2512.20159 [cs.SE] |
| （或 arXiv:2512.20159v2 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2512.20159 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ruiqi Wang [查看邮箱]
[v1]
2025年12月23日星期二 08:39:22 UTC（852 KB）
[v2]
2026年10月15日星期四 03:29:16 UTC（1,668 KB）
来源：arXiv cs.AI · arxiv.org