arXiv cs.AI· Xiaohong Chen, David Bucur, Chenglong Ma, Yi Zhang, Lingming Zhang, Sriram Vishwanath, Grigore Rosu·· 9 天前AI 评分28
评估真实程序中精确输出与检查点状态预测的基准
Evaluating Exact Output and Checkpoint-State Prediction in Real Programs
AI 导读
研究者提出一个从源代码和输入预测程序最终输出与检查点状态的基准，包含来自 371 个 Python 和 C++ 程序的 400 个案例，在四种模型族的七种设置下无工具、无代码执行地评测。
正文 · AI 翻译
摘要：我们提出了一个仅根据源代码和输入来预测最终输出与检查点状态的基准测试。它将 CRUXEval 风格的输出预测扩展为配对的短轨迹和长轨迹输入，以及循环内部和循环之后的检查点。该基准包含来自 371 个 Python 和 C++ 程序的 400 个案例，在四种模型家族的七种设置下进行评估，不使用工具或代码执行。在计划进行的 11,200 次预测中，有 11,151 次产生了可评分的响应。启用推理的设置在其关闭对应项上，在已完成响应上高出 33.1 至 55.2 个百分点。最强设置在较短轨迹最终输出上得分为 93.0%，在较长轨迹最终输出上为 77.0%，在两个状态任务上分别为 65.5% 和 63.5%；当缺失响应计为错误时，这些分数仍然成立。在 2,397 个具有相同源代码的匹配 Python 比较中，改为较长轨迹输入产生了 528 个从正确到错误的改变和 147 个反转。按源代码聚类的分析保持了这一准确率差距，而调整后的 Python 模型没有证据表明累积状态负载与错误之间存在正向增量关联。改变的输入和检查点任务同时改变了多个因素，因此这些差距并不能单独归因于轨迹长度或内部状态跟踪机制。该基准揭示了仅凭短输出分数所隐藏的错误。
| 评论： | 15 页。已被 NeurIPS 2026 可验证编码人工智能研讨会接收。包含附录 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.11889 [cs.SE] |
| （或 arXiv:2610.11889v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11889 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Xiaohong Chen [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 12:59:07 UTC（437 KB）
来源：arXiv cs.AI · arxiv.org