arXiv cs.AI· Zheye Deng, Sha Li, Changlong Yu, Xin Liu, Qin Lu, Priyanka Nigam, Yangqiu Song·· 3 天前AI 评分38
ARBITER：用可验证反馈做智能体代码评判
Beyond the Verdict: Agentic Code Judging with Verifiable Feedback
AI 导读
针对竞赛编程中官方评测不提供失败解释的问题，研究者构建了 USACO-JUDGE 基准，并训练出 35B MoE 智能体验证器 ARBITER，仅凭题面与源码即可评判并诊断候选程序，用生成的反例作为可验证证据。
正文 · AI 翻译
摘要：大语言模型（LLM）的测试时扩展可以涉及生成多个候选解以供选择，或修订先前的尝试。为了指导选择和修订，我们需要一个验证器，能够估计候选解的正确性并提供失败证据。然而，在竞技编程中，官方评测系统在有限的提交预算下提供权威判定，却不揭示失败解释或失败输入。为了在不消耗官方提交次数的情况下提供有信息量的反馈，我们提出了一项任务：模型仅使用题目描述和源代码来评判和诊断候选程序，并以生成的反例作为可检验的证据。为了评估这项任务，我们基于 USACO 2026 竞赛构建了 USACO-JUDGE，使用由人类专家和多个 LLM 编写的通过和未通过程序。随后我们训练了 ARBITER，一个 35B 混合专家（MoE）智能体验证器，在通用执行沙箱中使用强化学习。训练将错误程序上的反例成功率从 40.61% 提升到 62.67%，并将 USACO-JUDGE 上的平均二元判定准确率从 71.41% 提升到 87.41%，接近前沿验证性能。除验证之外，ARBITER 在代码选择和精炼方面均优于基线。在 IOI 2026 案例研究中，ARBITER 引导的精炼将 GPT-OSS-120B 的期望得分提升到官方提交限制下的金牌阈值以上。
| 评论： | 28 页 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.18760 [cs.AI] |
| （或 arXiv:2610.18760v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18760 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
发件人：Zheye Deng [查看电子邮件]
[v1]
2026年10月13日星期二 17:22:58 UTC（592 KB）
来源：arXiv cs.AI · arxiv.org