arXiv cs.CL· Stefan Krsteski, Charlotte Meyer·· 11 小时前AI 评分38
无需 Rollout 即可预测任务难度：跨 17 个智能体基准的事前难度预测研究
Predicting Task Difficulty Without Rollouts
AI 导读
一项 arXiv 研究在覆盖编程、数学、机器学习、网页导航、函数调用等领域的 17 个智能体基准上研究事前任务难度预测，指出 AUC 可能掩盖较差的难度估计。研究发现 token 级熵是有用的预测信号，并展示预期难度与实际难度之间的残差可暴露数据污染、任务不可行等环境缺陷。该工作面向 LLM 智能体长周期任务中试错成本过高的瓶颈，可用于合成数据、基准设计与训练课程构建。
正文 · AI 翻译
摘要：评估和训练自主智能体时面临的一项根本挑战，是衡量其所尝试任务的内在难度。估计这一数值对环境设计者创建合成数据或基准测试很有用，对构建训练课程也很有用，从而提供了一种降低计算成本的方法。随着智能体（尤其是基于 LLM 的智能体）进入更长时程的领域，这种估计变得越来越重要，因为在这些领域中，经验性的试错会成为严重的计算瓶颈。然而，现有工作在很大程度上局限于静态任务，并且依赖于评估指标；正如我们所展示的，这些指标可能无法完整反映预测性能。在本文中，我们研究了跨 17 个智能体基准的事前难度预测，这些基准涵盖编码、数学、机器学习、网页导航、函数调用及其他领域。我们发现 AUC 可能掩盖较差的难度估计，识别出 token 级熵是一种有用的预测信号，并展示了预期难度与观测难度之间的残差如何揭示环境缺陷，例如污染和不可行性。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2608.05797 [cs.LG] |
| （或 arXiv:2608.05797v3 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2608.05797 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Stefan Krsteski [查看电子邮件]
[v1]
2026 年 8 月 6 日星期四 09:33:09 UTC（121 KB）
[v2]
2026 年 9 月 27 日星期日 07:09:00 UTC（121 KB）
[v3]
2026 年 10 月 15 日星期四 21:40:07 UTC（121 KB）
来源：arXiv cs.CL · arxiv.org