预注册研究：后训练模型被要求引用即大幅编造

一项预注册研究在900道冻结问题上测试了三个模型家族、四个后训练阶段的十二个开放权重检查点，发现仅要求模型给出引用，就会让后训练检查点的伪造引用率大幅上升：交互效应为47.8个百分点（Holm校正后 p = 2e-34），在十五个检查点上为41.5个百分点。 研究覆盖美国联邦判例法、计算相关科学文献和医学文献三个领域，上述效应在三个领域均成立。研究者据此讨论伪造引用是否属于奖励黑客。

AI 根据报道生成 · 45 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。