斯坦福研究：50 条 LLM 结论中 44% 已失效，平均寿命 15.7 个月

斯坦福大学研究人员 Owen Queen 和 James Zou 针对 20 个模型测试了 50 条被广泛引用的大语言模型相关论断，发现其中 44% 已经“过期”。在 22 项有预估过期时间的研究结果中，平均寿命仅为 15.7 个月。

两人使用八家不同开发商在 2024 年 7 月至 2026 年 9 月间发布的模型对这些论断进行了检验。已过期结论背后的原始效应大多已消失，另有 34% 显著减弱。只有 16% 仍然成立，6% 实际上变得更强。一年后，16% 已过期。两年后，这一数字攀升至 39%。

关于模型“做不到什么”的论断过期最快

根据这项研究，关于模型做不到什么的论断过期最快。九项与推理相关的研究结果中有五项被视为已过期，且无一保持成立或变得更强。它们包括一些众所周知的弱点，例如数“strawberry”中有几个字母、在不熟悉的进制中进行算术运算、在长上下文中间丢失信息，以及当用户提出质疑时放弃正确答案。研究人员怀疑，这类错误有一个“正确”结果，从而为开发者提供了明确的训练目标。

关于偏好和倾向的论断被证明寿命更长。在 11 项保持成立或变得更强 的结果中，有三项涉及 LLM 作为评估者时的行为。它们偏好自己的答案，对被接收和被拒稿的论文评分相近，并且会受医学摘要中语言包装的影响。另外三项涉及对用户的谄媚与附和。此外，还存在偏左的政治偏见、对开放式问题的回答几乎相同，以及生成随机数时分布不均匀。

幻觉参考文献从 55% 降至零，但并非处处如此

作为案例研究，Queen 和 Zou 考察了科学引文的捏造问题。在 Walters 和 Wilder 2023 年的原始研究中，GPT-3.5 捏造了 55% 的参考文献。斯坦福研究人员向当前模型发送了相同的提示词。GPT-6.1 Sol 捏造率为 0%，Claude Sonnet 5.5 为 1%。但同样属于 2026 年模型的 Qwen3.7-Flash 在同一测试中仍捏造了 69% 的参考文献。

该研究警告不要将这些结果解读为一切安全。在所谓的双跳问题上，即模型必须组合两个已知事实，Claude Sonnet 5.5 在约 10% 的情况下仍然失败，尽管它能正确回答两个单独问题。原始论文报告 ChatGPT 的这一比例为 43%。“逆转诅咒”以及对成对时间相关问题的矛盾回答也有所减弱，但仍可检测到。

研究人员表示，社会偏见的情况较为复杂。偏左的政治偏见持续存在，而性别刻板印象和内隐联想偏见已经减弱。在趋势数据中，针对非裔美国人英语使用者的偏见实际上发生了方向反转。

即使在同一代际内，模型之间的差距仍然很大

不同模型之间的结果差异相当大，即使是在同一发布窗口内也是如此。在2026年7月至9月间发布的模型中，过期结论的数量从DeepSeek V4 Pro的11条到GPT-6.1 Sol的30条不等。发布日期、提供商和模型规模都无法可靠地预测这一模式。

Queen和Zou得出了一个宽泛的结论。关于大语言模型的实证发现应被呈现为针对特定模型在特定时间点的观察结果，而非普遍真理。论文应记录模型、版本和日期，并公开提示词和分析代码，以便这些发现在未来的模型上能够被重新检验。

研究人员指出了一篇Andrej Karpathy的博文，其中描述了人们对大语言模型实际行为的认知偏差如何影响对AI的信任以及人们使用它的频率。Karpathy是OpenAI的联合创始人，后来加入了Anthropic，他最近还表示，目前可用的模型只是未来能力的一个预览。