arXiv cs.AI· Wanyi Chen, Wanqin Shen, Yuanchen Shi, Zhensu Sun, Fang Kong·· 11 小时前AI 评分25
HSPR：通过分层后验推断恢复软件智能体基准分数
HSPR: Recovering Software-Agent Benchmark Scores via Hierarchical Posterior Inference
AI 导读
HSPR 通过结合源拟合响应因子与不确定的组成功率，在仅用 10% 任务预算时，于 SWE-bench 系列四个任务库中的三个取得最低平均绝对误差（MAE），并在全部四个任务库上取得最低最大绝对误差（MaxErr）。
正文 · AI 翻译
摘要：在完整基准上评估软件智能体成本高昂。一个小的任务子集可以保持智能体的排名，但会产生不准确的分数。历史响应提供了有用的结构，但具有相同源响应的任务对于新的目标智能体可能产生不同的结果。我们引入了分层分数后验恢复（HSPR），它将源拟合的响应因子与不确定的组成功率相结合。观测到的目标结果会更新目标潜在状态和组成功率上的后验；后验引导的采集选择后续任务。其基于分数的准则等于全分数后验方差中预期的一步减少量。观测到的成功和未查询任务的后验预测计数产生全分数后验。最终估计使用其中位数，并采用源选择的校准。在 SWE-bench 系列的四个任务库上，以 10% 的任务预算，HSPR 在三个库上实现了最低的平均绝对误差（MAE），并在所有四个库上实现了最低的最大绝对误差（MaxErr），在所比较的方法中。移除组不确定性或替换自适应查询会增加相应控制中的宏观 MAE。宏观 MAE 在 5-20% 的预算范围内下降。代码和项目资源已公开可用。
| 评论： | 15 页，4 幅图，8 张表，包括附录 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.24611 [cs.AI] |
| （或 arXiv:2610.24611v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.24611 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Wanyi Chen [查看电子邮件]
[v1]
2026 年 10 月 17 日星期六 10:32:47 UTC（627 KB）
[v2]
2026 年 10 月 20 日星期二 11:54:02 UTC（627 KB）
来源：arXiv cs.AI · arxiv.org