研究复现五种 LLM 事实性对齐方法：均未显著优于基座模型

查看 PDF HTML（实验性）

摘要：大型语言模型（LLM）在预训练和有监督微调步骤之后，会与人类偏好对齐。然而，标准的 RL 对齐步骤（如 RLHF）并不关注 LLM 的事实性，因此它们可能生成非事实性信息，这可能导致意外后果。对此，文献中提出了若干事实性对齐方法，声称能在各自的基准上提升 LLM 的事实性。然而，这些方法尚未被独立复现，而且由于各自使用不同的基础模型、训练数据、评估集、评判器和指标，它们之间也无法比较。在本文中，我们首次独立复现了五种事实性对齐方法，涵盖同策略 RL（PPO、GRPO 和 Dr.~GRPO）与离线偏好优化（DPO 和 KTO），并在共同基准上以共同评估指标进行比较。我们发现，这些方法没有一个能被完整复现，而在共同基准上，也没有任何一个方法显著优于基础模型。进一步审视发现，奖励优化的是格式、长度或简洁性，而非事实性和相关性，而同策略训练与离线训练之间的选择影响甚微。此外，评估指标和基准本身也是问题的一部分，因为它们并未衡量文本与提示的相关性。由于提示没有对应的真值，依赖 LLM 评判器和检索进行验证也使评估变得脆弱。我们发布了代码、数据和检查点。

提交历史

来自：Pratuat Amatya [查看电子邮件]
[v1] 2026年10月13日星期二 13:54:51 UTC（62 KB）