研究：LLM推理失败分类法测量不稳

Madhu Sudhan Rao Beesetty 发表研究，指出大语言模型推理失败分类法存在测量局限：答案一致，但失败归因不一致。研究定义“组合崩塌”类别，在 12 个模型、11 种语言的多语言数学基准（2,316 条评分记录）上测量，发现 50.1% 的失败同时带有多个类别证据，类别占比随分类器测试顺序在 26.4% 至 76.4% 间波动。研究称，对其中一个类别而言，报告出的占比很大程度上是测量程序的属性。

AI 根据报道生成 · 45 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。