跳到正文
热点事件持续更新

斯坦福复测50条LLM论断,44%已失效

2 篇报道2 个报道来源2 小时前更新

先了解这件事

AI 综述

斯坦福研究者 Owen Queen 和 James Zou 用 8 家开发者在 2024 年 7 月至 2026 年 9 月间发布的 20 个模型,复测 50 条被广泛引用的 LLM 论断,发现 44% 已失效,另有 34% 明显减弱,仅 16% 仍成立、6% 变强。 该研究把论断的“失效”与模型迭代直接挂钩:同一批说法在较新模型上不再成立,说明以旧模型为据的结论会随版本更替而过时。The Decoder 称这些论断的平均寿命为 15.7 个月;RadarAI 称推理类缺陷消失最快。

AI 根据报道生成 · 36 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. RadarAI
    Stanford 研究:44% 被广泛引用的 LLM 结论已失效,推理类缺陷消失最快

    Stanford 研究者 Owen Queen 和 James Zou 用 2024 年 7 月至 2026 年 9 月间八家开发商的 20 个模型复测 50 条被广泛引用的 LLM 结论,发现 44% 已失效、34% 明显减弱,仅 16% 仍成立、6% 反而增强。

  2. The Decoder
    斯坦福研究:50 条 LLM 结论中 44% 已失效,平均寿命 15.7 个月

    斯坦福研究者 Owen Queen 和 James Zou 用 8 家开发者在 2024 年 7 月至 2026 年 9 月间发布的 20 个模型,复测 50 条被广泛引用的 LLM 结论,发现 44% 已失效,另有 34% 明显减弱,仅 16% 仍成立、6% 变强。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。