Stanford 研究：44% 被广泛引用的 LLM 结论已失效，推理类缺陷消失最快

The Decoder：AI 新闻· Matthias Bastian·2026-11-04 03:41· 54 分钟前AI 评分62

研究发现，大语言模型的快速发展正超出旨在解释它的研究

AI 导读

Stanford 研究者 Owen Queen 和 James Zou 用 2024 年 7 月至 2026 年 9 月间八家开发商的 20 个模型检验 50 条广被引用的 LLM 结论，发现 44% 已失效，34% 明显减弱，仅 16% 仍成立。

正文 · 原文

跳转到内容

2026年11月3日

Image description

由 THE DECODER 提示的 GPT-Image-2.5

Stanford 研究者 Owen Queen 和 James Zou 用 20 个模型检验了 50 条关于大语言模型的广被引用结论，发现其中 44% 已经“失效”。在 22 条有预估失效日期的结论中，平均寿命仅为 15.7 个月。

两人用八家不同开发商在 2024 年 7 月至 2026 年 9 月间发布的模型检验了这些结论。已失效结论背后的原始效应基本消失，另有 34% 明显减弱。仅 16% 仍然成立，6% 实际上变得更强。一年后，16% 已失效。两年后，这一数字升至 39%。

关于模型“做不到什么”的结论失效最快

关于模型做不到什么的结论失效最快，根据该研究。九条与推理相关的结论中有五条被视为已失效，且没有一条保持成立或变得更强。它们包括一些众所周知的弱点，例如数“strawberry”中的字母、在不熟悉的数制中进行算术运算、在长上下文中间丢失信息，以及当用户反驳时放弃正确答案。研究者怀疑这类错误有一个“正确”结果，为开发者提供了明确的训练目标。

Stanford 研究发现，被审查的 LLM 结论中有 44% 已失效，另有 34% 减弱。九条推理结论全部消退，而谄媚、欺骗和策略性行为拥有最多持续存在或变得更强的结论。| 图片：Queen 和 Zou

关于偏好和倾向的结论被证明更持久。在 11 条保持成立或变得更强的结论中，有三条涉及 LLM 作为评估者的行为。它们偏好自己的答案，对已接受和已拒稿的论文评分相似，并会被医学摘要中的语言包装所左右。另有三条涉及谄媚和对用户的附和。此外，还有偏左的政治偏见、对开放式问题的近乎相同回答，以及生成随机数时的非均匀分布。

虚构参考文献从 55% 降至零，但并非处处如此

作为案例研究，Queen 和 Zou 考察了科学引文的捏造。在 Walters 和 Wilder 的2023 年原始研究中，GPT-3.5 捏造了 55% 的参考文献。Stanford 研究者向当前模型发送了相同的提示。GPT-6.1 Sol 捏造率为 0%，Claude Sonnet 5.5 为 1%。但同样是 2026 年模型的 Qwen3.7-Flash，在同一测试中仍捏造了 69% 的参考文献。

该研究警告说，不应将这些结果解读为一切正常。在所谓的“两跳问题”上，即模型必须结合两个已知事实的问题，Claude Sonnet 5.5 在约 10% 的情况下仍然失败，而这些情况中它本已正确回答了这两个单独的问题。原论文报告 ChatGPT 的这一比例为 43%。“逆转诅咒”以及对成对时间相关问题的矛盾回答也有所减弱，但仍可检测到。

据研究人员称，社会偏见的情况则较为复杂。左倾政治偏见依然存在，而性别刻板印象和内隐联想偏见已经减弱。在趋势数据中，针对非裔美国人英语使用者的偏见实际上已经反转了方向。

即使在同一代际内，模型之间的差距仍然很大

即使在同一个发布窗口内，不同模型的结果也差异很大。在 2026 年 7 月至 9 月间发布的模型中，失效发现的数量从 DeepSeek V4 Pro 的 11 个到 GPT-6.1 Sol 的 30 个不等。发布日期、提供商和模型规模都无法可靠地预测这一模式。

Queen 和 Zou 得出了一个宽泛的结论。关于大语言模型（LLM）的实证发现应作为特定时间点特定模型的观察结果来呈现，而非普遍真理。论文应记录模型、版本和日期，并公布提示词和分析代码，以便这些发现在未来的模型上能够被重新检验。

研究人员引用了 Andrej Karpathy 的一篇帖子，其中描述了人们对 LLM 实际行为的认知差距如何影响对 AI 的信任以及人们使用它的频率。Karpathy 是 OpenAI 的联合创始人，后来加入了 Anthropic，他最近还表示，目前可用的模型只是未来能力的一个预览。

没有炒作的 AI 新闻——由人工精选

订阅 THE DECODER，享受无广告阅读、每周 AI 新闻通讯、每年六期的独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。

立即订阅

完整访问 THE DECODER 上的每一篇文章
无广告
加入评论和社区讨论
每周通过邮件获取 AI 新闻摘要
每年 6 次：“AI Radar”——深入探讨最重要的 AI 话题
每日 AI 新闻，始终紧跟最新动态
我们完整的十年档案
由拥有 10 年以上 AI 经验的团队报道

来源：The Decoder：AI News · the-decoder.com