研究：蒸馏小模型弃答选项混淆三种机制

Plawan Kumar Rath 发布的一项测量研究指出，基准中的弃权选项会混淆三种机制：学生模型在参考模型原本拒绝的题目上不再拒绝（拒绝损失）、参考模型自身两次运行之间的采样抖动，以及学生模型只要题目提供弃权选项就选它（选项捕获）。 研究给出的测量结果是：参考模型跨推理种子重采样时，已有 10% 到 27% 的拒绝回答变成刻板印象答案；用拒绝样例训练的学生模型，在弃权永不正确的科学题上最多 95% 选择弃权，并蔓延到另外三个基准。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。