组级奖励策略梯度降低反事实偏差

Basar Demir 等作者提出一种策略梯度对齐方法，用匹配的反事实提示对构建群体级奖励函数，以降低语言模型在不同人口统计群体间的回复质量差异。研究称，标准强化学习对齐在提升整体回复质量时会放大群体间差异、加剧反事实偏见。 该方法配套构建了受控反事实提示对数据集，以及区分人口信息因果相关性的评估方法。在多个公平性基准上，它降低了反事实差异并保持整体回复质量；当敏感信息确实相关时，模型仍能适当调整。

AI 根据报道生成 · 58 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。