arXiv cs.CL· Arman Nik Khah, Arvin Bahreini·· 12 小时前AI 评分39
研究发现后训练让模型写作更可预测，但作为评审几乎不偏向可预测写作
Is the Judge Its Twin? Post-training makes a model's writing more predictable but barely moves its taste, as a judge, toward predictable writing
AI 导读
研究追踪 OLMo-2 和 Zephyr 两个 70 亿参数模型系列从基座到 SFT、DPO 各阶段，发现模型作为作者时写作可预测性按基座、SFT、DPO 顺序递增，另一模型系列判断其故事每 token 惊讶度低 7.0% 至 9.2%（OLMo-2）和 24% 至 25%（Zephyr）。
正文 · AI 翻译
摘要：语言模型如今经常给其他语言模型打分。如果后训练让模型的写作变得更可预测，它也可能教会同一个模型在作为评判者时奖励可预测的写作。我们直接对此进行了测试。我们跟踪两个开放的 70 亿参数模型系列 OLMo-2 和 Zephyr，从它们的基础模型开始，经过监督微调（SFT）和直接偏好优化（DPO），并在每个阶段分别以短篇小说作者和故事对评判者的身份进行测量。作为作者，模型如所担忧的那样发生了漂移。每个系列训练后的模型在全部十个提示中，都按基础模型、SFT、DPO 的顺序认为各阶段的故事更熟悉，而另一个系列的模型则认为训练后的故事每个 token 的意外程度分别降低了 7.0% 到 9.2%（OLMo-2）和 24% 到 25%（Zephyr）。作为评判者，它们几乎没有向可预测的写作靠拢。当被问及哪个故事更好时——每个评判者都能通过这一问题的能力检查——没有任何训练后的评判者对更可预测故事的偏好增长达到其估计值的一个百分点选择概率。在差异最大的故事对上，这一增长的单侧 95% 置信上限约为 5 个百分点。训练反而使评判者更容易受故事长度和展示顺序的影响，并且使“更有创意”这一问题失效。训练后的评判者不再能可靠地偏好一个故事而非其自身词语被打乱顺序后的版本。对于这两个系列而言，小型训练后的创意写作评判者的实际风险就在于这些可测量的习惯。
| 评论： | v2：标题措辞有所缓和，全文经过编辑修订，新增两篇参考文献；结果未变。16 页，4 张表。代码和数据：此 https URL |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| ACM 分类： | I.2.7；I.2.6 |
| 引用为： | arXiv:2609.32196 [cs.CL] |
| （或本版本的 arXiv:2609.32196v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2609.32196 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Arman Nik Khah [查看电子邮件]
[v1]
2026 年 9 月 26 日星期六 03:46:50 UTC（21 KB）
[v2]
2026 年 10 月 22 日星期四 13:40:32 UTC（21 KB）
来源：arXiv cs.CL · arxiv.org