后训练让模型写作更可预测，评审却几乎不偏好

一项 arXiv 论文追踪 OLMo-2 和 Zephyr 两个 70 亿参数模型系列从基座到 SFT、DPO 各阶段，发现模型作为作者时，写作可预测性按基座、SFT、DPO 顺序递增：另一模型系列判断其故事每 token 惊讶度低 7.0% 至 9.2%（OLMo-2）和 24% 至 25%（Zephyr）。 但研究同时发现，模型作为评审时几乎不偏向可预测写作。作者在论文中提出的疑问是：后训练若让模型写作更可预测，是否也会让同一模型作为评判者时奖励可预测写作；结果显示这一关联并未成立。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。