如何衡量 AI 节省的时间：从秒表视角转向账本视角

查看 PDF HTML（实验性）

摘要：我思考 AI 辅助节省时间意味着什么。我将秒表视角与账本视角进行对比：在秒表视角下，节省的时间就是时钟记录的时间；在账本视角下，节省的时间是一种反事实，必须与工作所放过的错误放在一起解读。我支持后者。该论证分为四部分。我定义了一对不依赖模型的量——节省的时间和逃逸的多余缺陷——以及由它们构建的一个决策数字：盈亏平衡缺陷成本。我给出了一个检查的基线模型：在该模型中，直到模型足够好而无需检查之前，一个校准良好的工作者的逃逸缺陷率不依赖于模型有多好；检查时间随模型错误率的对数增长；而过度信任以更大的总分钟数成本换取时钟上的几分钟。我展示了随机研究能识别什么、不能识别什么，并从 METR 开发者研究的公开数据复现了该研究：同样的 246 个问题支持 19% 或 24% 的减速，具体取决于估计目标（若不调整偶然失衡则为 34%），而 AI 在其中约 3% 到 82% 的问题上有帮助。最后，我重述已发表的记录，用明确的边界取代引入的点假设。在 GDPval 自身的“审查每个输出”工作流中，仅审查时间就将 GPT-5 的加速上限限制在 3.6 倍；前沿之外的顾问更快，但也更常出错。最后，我在一个小规模预注册实验中检验了该模型的两个预测，实验对象是 AI 审查员检查同类简报的 AI 草稿，这些简报由模型训练数据收集之后提交的 SEC 文件构建。在被告知起草者的真实错误率后，审查员随着错误率上升而检查得更多，但呈全有或全无，在其提示成本接近盈亏平衡处发生切换。在被告知起草者犯错的频率比实际低十倍后，它在 9 个数字中少检查了 7 个，并在 22.5% 的简报中放过了一个错误数字，而不是一个都没有：更快也更差，完全是通过减少努力实现的。

提交历史

来自：Solomon Shalom Lijo [查看电子邮件]
[v1] 2026 年 10 月 23 日星期五 15:34:36 UTC（56 KB）