新基准评测：推理模型日常推理反逊于非推理模型

Kentaro Ozeki 等作者提出一个基于语言与语用推理现象的基准，系统评测大型推理模型与非推理模型的日常逻辑推理表现。评测发现，当日常推理偏离形式逻辑规则时，大型推理模型的性能反而下降；部分使用 chain-of-thought 提示的非推理模型在日常推理上超过了同类推理模型。 作者称，额外指令提示对推理行为的控制作用有限，表明当前推理模型无法可靠捕捉日常推理，后训练目标与评测方式仍需改进。

AI 根据报道生成 · 58 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。