arXiv cs.CL· Zain Naboulsi·· 10 小时前AI 评分55
伪造引用是奖励黑客吗？一项关于后训练与引用线索的预注册研究
Are Fake Citations a Form of Reward Hacking? A Pre-Registered Study of Post-Training and Citation Cues
AI 导读
研究者在900道冻结问题上对三个模型家族四个后训练阶段的十二个开放权重检查点做了四项预注册实验，发现仅要求给出引用就会让后训练检查点的伪造率大幅上升，交互效应为47.8个百分点（Holm校正后 p = 2e-34），在十五个检查点上为41.5个百分点，三个领域均成立。
正文 · AI 翻译
摘要：经后训练的语言模型捏造引用的比例很高。我们追问这是否属于奖励黑客：在学术能力的代理指标上得分很高，而在该指标所代表的真实能力上表现更差。我们针对 900 个冻结问题（美国联邦判例法、计算相邻的科学文献和医学文献）开展了四项预注册实验，覆盖三个模型家族四个后训练阶段的十二个开放权重检查点，随后在十五个检查点上重新拟合。最清晰的结果是固定权重、仅改变提示词。要求提供引用会显著提高后训练检查点的捏造率，而基座检查点则不会：十二个检查点上出现 47.8 个百分点的交互效应（Holm 校正后 p = 2e-34），十五个检查点上为 41.5 个百分点，且在全部三个领域均成立。长度匹配的对照将引用线索与要求更长回答区分开来，因此该效应特异地来自引用，而非冗长。后训练总体上也将捏造率从 4.8% 提高到 56.7%，但我们注册的预测——捏造在最具诱惑力之处上升最多——并未成立。仅基于表面引用特征训练的偏好模型在 86% 的情况下偏好后训练输出，而固定引用数量后表明它奖励的是数量。我们的回答：有可能，但未被证明。后训练模型在被要求提供来源时，捏造引用的比例远高于基座模型，而一个只统计来源数量却不核查的朴素评估器会因其引用更多而偏好其输出。但我们注册的特定模式并未出现，单纯的指令遵循也能解释同样的结果。要证明奖励导致捏造，需要在训练过程中改变奖励的实验，而本研究并未这样做。预注册：doi:https://doi.org/10.17605/OSF.IO/S53HY。代码与数据：this https URL
| 评论： | 49 页，3 幅图，20 张表。代码与数据：this https URL（存档于 doi:https://doi.org/10.5281/zenodo.23845528） |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2611.01313 [cs.AI] |
| （或本版本 arXiv:2611.01313v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2611.01313 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zain Naboulsi [查看邮箱]
[v1]
2026 年 10 月 31 日星期六 22:24:28 UTC（94 KB）
来源：arXiv cs.CL · arxiv.org