arXiv cs.AI· Oliver Jaffe, Dane Sherburn·· 10 天前AI 评分48
TasteVal：衡量 AI 系统实验研究品味、对标人类专家的基准
TasteVal: Measuring the Experimental Research Taste of AI Systems Against Human Experts
AI 导读
研究者提出 TasteVal 基准，以计算效率衡量 AI 的实验研究品味，即模型在固定研究问题上迭代设计实验并得出结论的能力。该基准含 8 个开放式任务，由 Researcher 模型设计实验、固定 Coder agent 执行，预算上限为 40 H100 小时或 120 小时。
正文 · AI 翻译
摘要：我们提出 TasteVal，一个用于评估前沿模型实验研究品味的基准。我们将研究品味定义为挑选有趣问题去解决、设计实验以及解读实验结果的能力。TasteVal 衡量研究品味中的实验部分；给定一个固定的研究问题，我们衡量模型迭代设计实验并从结果中得出结论的能力。我们将实验研究品味操作化为计算效率；如果一位 Researcher 用一半的串行实验计算量达到与人类专家相同的分数，那么其实验品味就是专家的两倍。因此，实验品味充当实验计算量的乘数，使其成为预测 AI 进展的关键输入。TasteVal 由 8 个新颖、具有挑战性、开放式的任务组成，代表前沿 AI 研发。为了将品味与编码能力分离，被评估的模型充当 Researcher，迭代设计实验，而一个固定的 Coder 智能体负责实现实验并报告结果。Researcher 持续执行，直到 40 H100 小时或 120 墙钟小时的预算耗尽。我们招募了 24 位人类专家，每个任务至少 2 位，并将每个任务中最佳专家尝试作为专家基线。我们评估了 2023 年至 2026 年间发布的 20 个模型。表现最好的模型 Opus 5.5 超过了我们的专家基线，计算乘数为 2.3 倍（95% CI 1.15-4.37），成本约为我们基线者平均每次运行成本的 1/30。在 TasteVal 上，自 2025 年 12 月以来，前沿模型的计算乘数大约每 3.0 个月翻一番（95% CI 1.7-5.0），而 2023 年至 2025 年 12 月期间为每 14 个月翻一番。以最终归一化性能衡量，前沿模型没有出现趋势断点，每 14.6 个月翻一番。为保持 TasteVal 不受污染，我们不发布这些任务。
| 评论： | 38 页，21 张图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.06824 [cs.AI] |
| （或 arXiv:2610.06824v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.06824 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Oliver Jaffe [查看电子邮件]
[v1]
2026 年 10 月 5 日星期一 17:57:15 UTC（1,084 KB）
[v2]
2026 年 10 月 6 日星期二 07:00:00 UTC（1,085 KB）
来源：arXiv cs.AI · arxiv.org