arXiv cs.AI· Drew T. Nguyen, William Fithian·· 9 天前AI 评分32
对 AI 时间跨度的估计与效度：对 METR 图的统计学审视
On the estimation and validity of AI time horizons---a statistical look at the METR plot
AI 导读
研究基于 228 个任务和 26 个 AI，用样条与项目反应理论重新计算 METR 的 50% 时间跨度，放宽了任务 AI 难度与人类耗时对数呈线性关系的假设。
正文 · AI 翻译
摘要：METR 的 50\% 时间跨度衡量的是 AI 以 50\% 概率解决的软件任务的人类完成时间，从而使 AI 能力能够以可解释的单位表示。在 228 个任务和 26 个 AI 上，我们使用样条和项目反应理论重新计算时间跨度，以放宽任务对 AI 的难度线性依赖于人类时间对数的假设。我们拟合的样条可以解释为一个将人类时间\emph{转换}为 AI 难度的函数；它在 2--30 分钟的区域几乎平坦，但在其他地方接近线性。因此，尽管乘数同为 $10 \times$，时间跨度从 3 分钟跃升至 30 分钟要比从 30 分钟跃升至 5 小时容易得多。总体而言，我们贡献了在交叉验证的适当评分规则套件下表现更好的时间跨度点估计，以及用于评估时间跨度构念效度的诊断图。我们建议将时间跨度与诊断图一起解读，尤其是在提出新的基于时间跨度的基准或现有基准扩展到包含更长任务时。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.12466 [cs.AI] |
| （或 arXiv:2610.12466v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12466 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Drew Nguyen [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 17:59:50 UTC（330 KB）
来源：arXiv cs.AI · arxiv.org