AI 能否学会科学品味?Anthropic 用 Claude Code 决策点测试科研直觉
Can AI learn scientific taste?
Anthropic 从 2026 年 1 月至 3 月的真实 Claude Code 会话中抽取 129 个决策点,让模型在人类走弯路处判断下一步:Claude Mythos Preview 有 64% 的选择优于人类,Opus 4.5 为 51%;但在人类决策本已较好的 127 个场景中,模型仅约 20% 能改进。
“其实,金子就在这里,”我的研究生院朋友阿拉斯代尔·拉塞尔(Alasdair Russell)说道,他在剑桥领导一个临床前基因组编辑小组。
他谈论的是科学中那条蜿蜒曲折的道路,而这条路在已发表的论文中被省略了。“当你们讨论如何做这个实验,为什么这种方法比另一种更好,以及数据到底意味着什么?我知道它显示了什么,但它意味着什么?”
在 RAAIS 2026 上,他描述了他的团队如何开始实时记录发现过程中曲折的路径,记录下那些通常消失的口头和书面交流。想法成为一张活图中的节点:当一次会议产生两个可行的实验时,它们分叉;当不同的证据线索汇聚时,它们合并;当有人悄然停止追求它们时,它们就暗淡下去。在他的实现中,一个智能体为新颖性打分,而另一个则试图学习“科学家如何思考,以及他们如何在复杂的数据世界中导航”,这样高潜力的节点就能触发更深入的调查。
随着前沿 AI 实验室将智能体部署到科学发现中,赋予 AI 真正的科学品味仍然是一个万亿美元的难题。瓶颈在于,我们数百年来为科学所保留的记录可能不足以让我们达到那个目标。
那些从未写进论文的实验
1960 年诺贝尔奖得主、“移植之父”彼得·梅达沃(Peter Medawar)在 1963 年问道,科学论文是否是一种骗局,并回答说是:论文的形式歪曲了产生它的思考过程。六十年过去了,诊断依然未变。一篇论文呈现的是从假设到结果再到结论的清晰递进。沿途丢失的是那些非常规的理论、被放弃或负担不起的方法,以及那些平淡无奇、没有定论的数据。
读起来就像一份删除了所有死胡同的浏览器历史记录:十个打开的标签页、四次改写的查询、一次误入子论坛的弯路。全部被抹去,只留下一条从问题到答案的干净路径,作为经典路径。
自那以后改变的是,被丢弃的材料现在有了价值。没有高影响力期刊想要这些产物,但原始的试错最有可能成为培养科学直觉——即研究人员所称的品味——所需训练数据的来源。
早期捕捉这些被丢弃内容的尝试,其动机是科学诚信。《生物医学阴性结果杂志》(Journal of Negative Results in Biomedicine)于 2002 年创刊,旨在发表质疑既有模型或揭示无效疗法的严谨研究。它的档案保存的是阴性结论成为论文之后的内容,而不是产生这些结论的实时替代方案和争论。BioMed Central 于 2017 年将其关闭,称既然其他期刊也发表零结果,该使命已经完成。一种不那么宽容的解读是,它在十五年间只发表了约 200 篇论文,因为几乎没有人想读阴性结果,更不用说在它不计入学术终身教职的情况下把它写出来。
AI 模型则不同。即使是一个无趣的阴性结果也可能有用,只要它被标注出来。
今年早些时候,Anthropic 对这一点进行了测试。该公司从 2026 年 1 月至 3 月期间真实的 Claude Code 会话中提取了129 个决策点,向模型展示人类绕弯之前的工作,并询问接下来应该怎么做。Claude Mythos Preview 有 64% 的时候胜过人类的选择,而 Opus 4.5 为 51%。这一比较偏向模型,因为 Anthropic 刻意选择了人类决策有改进空间的时刻。在另外 127 个人类行动已经很强的场景中,模型只有约 20% 的时候能对其加以改进。
这项研究之所以可行,是因为 Anthropic 的研究人员在一个默认记录日志的工具中工作。推理、绕弯和结果都在同一个工作环境中产生。生物学没有对等物。它的推理发生在走廊里、实验台旁、Slack 讨论串中和白板上,而结果则在数周后出现在别处。记录必须从工作本身中浮现。如果让科学家事后重建,我们只会得到又一份精心修饰的叙述。
日志不是标签
在这一切成为训练数据之前,一个阴性结果必须说明是什么失败了。第一篇论文发表在《生物医学阴性结果杂志》上,考察了五家顶级医学期刊上的 234 项阴性研究。只有 30% 讨论了统计功效,一半明确界定了主要结局。告诉模型一个实验失败了,却不告诉它检测是否功效不足、试剂是否降解,或者假设是否根本就是错的,它就会自信地学到噪声。
决策历史还有第二个缺失的标签。当一个实验室考虑五项实验并只做其中一项时,只有被选中的分支会返回结果。另外四项是实验性反事实。研究人员称之为选择性标签问题:数据只揭示某人选择采取的行动的结果。这样的记录可以教模型模仿一个实验室的品味,但无法确立这种品味是好的。它还会把局部约束偷运进一般性教训中。一个因为自己没有显微镜而从未做过冷冻电镜的实验室,会教给模型冷冻电镜很少是正确选择。
Alasdair 的节点保留了候选集,这是必要的第一步。要有用,每条决策记录需要六个字段:
当时可用的证据,以及之后才到达的任何东西都不算。
考虑过的候选方案,包括那些被一句话否决的。
对每个候选方案:预期结果、附带的置信度,以及时间和金钱成本。
所选择的路线,以及原因。
接下来发生了什么。
证据如何改变了科学家的看法。
这些必须在结果之前加上时间戳,因为事后之明会把不确定性变成必然性。分歧也必须保留下来。把三位科学家平均成一条干净利落的理由,恰恰会重现我们试图修复的那种信息损失。
但这里有一个明显的失败模式。一旦决策被记录并评分,人们就会事后补记以应付存档。任何见过电子实验记录本被追溯性整理填满的人都知道,一个研究工具变成合规任务有多快。一份让科学家每做一次决策花十分钟诚实反思的记录,其价值远高于一份花一小时表演的记录。
一项名为“注册报告”的出版倡议提供了一个有用的起点。研究人员在数据产生之前就提交其理由、方法和分析计划供同行评审,期刊原则上承诺只要他们遵循获批的计划就予以发表。Nature现已将这一格式扩展到其涵盖的所有领域。这种论文写作方式在结果出现之前就给意图打上时间戳,但它冻结了一个计划。一份有用的搜索历史还必须保留计划如何改变、哪些替代方案被否决、何时否决以及基于什么证据。
运行次优选项
自主实验室展示了当决策与结果在闭环中相连时会发生什么。利物浦的移动机器人化学家在八天内于一个十变量配方空间中运行了688次实验。批量贝叶斯搜索利用每个结果来选择下一批实验,并找到了活性比初始配方高六倍的光催化剂混合物。每一个完成的实验都改变了系统下一步的行动。
机器人在人类已经选定的目标和搜索空间内进行优化。它没有决定哪个科学问题重要。因此这项工作所展示的范围更窄,但仍然有用:当选项能快速返回标准化结果时,搜索历史才有回报。开放式生物学更难,因为分支可能需要数周,而被丢弃的替代方案可能永远不会被运行。
因此,有些探索必须花钱买。当两个分支都可行且代价合理时,实验室有时应该运行次优选项。否则,记录只捕捉了当今科学家通常选择的东西,而对系统性忽视的东西保持沉默。资助方可以划拨一小部分经费用于未被选择的分支,前提是决策记录和结果都要存档。这要花钱,但让每个实验室重新发现同一条被放弃的路径也要花钱。
测试品味能否迁移
当需要评估我们的新AI系统是否展现出品味时,比较应该跨实验室和领域进行。在一项进行中的研究活动的选定决策点上,我们应该冻结六个字段:证据、候选方案、预期结果、置信度、成本和所做的选择。然后专家在结果已知之前对选项进行排序,这些结果随后会被独立核查。
我们可以给模型两种“饮食”之一——仅论文,或论文加决策历史——并让它们对不熟悉项目的下一个实验进行排序。然后,我们按每美元和每周获得的信息量、校准度以及弱分支被放弃的速度来评分。
如果历史记录只能改善产生它们的实验室内部的决策,那它们不过是有用的组织记忆。如果它们能改善其他地方陌生问题上的决策,那么 Alasdair 的团队将捕捉到科学从未成功记录下来的东西:一份可迁移的品味记录。在那之前,科学搜索历史是一份有前景的记录,但还不是训练集。
来源:Air Street Press · press.airstreet.com