arXiv cs.CL· Basar Demir, Emily Shen, Ksheeraj Sai Vepuri, Sourabh Kulkarni, Harihar Subramanyam, Ankit Jain, Nan Jiang, Chirag Nagpal·· 11 小时前AI 评分31
让语言模型实现反事实不变性对齐
Aligning Language Models Towards Counterfactual Invariance
AI 导读
标准模型对齐方法（如强化学习）在提升整体回复质量的同时，会放大不同人口统计群体间的回复质量差异，加剧反事实偏见。研究提出一种策略梯度技术，基于匹配的反事实提示对构建群体级奖励函数，并构建受控反事实提示对数据集与区分人口信息因果相关性的评估方法。在多个公平性基准上，该方法降低了反事实差异，同时保持整体回复质量，且当敏感信息确实相关时模型仍能适当调整。
正文 · AI 翻译
摘要：提示词特征的细微变化可能会显著改变大语言模型输出的语义、语气和上下文假设。此类特征可能涉及人口统计等群体变量或其他敏感潜在属性。当人口统计信息与任务没有因果关系时，对这种输入变量的敏感性是不可取的，但这类信息对于生成语义连贯的回复可能仍然相关。这使得在保持模型效用的同时实现反事实不变性的任务变得困难。为研究这一问题，我们首先表明，标准的模型对齐方法（如强化学习）在提高整体回复质量的同时，会加剧不同人口群体之间回复质量的差异，最终放大所谓的反事实偏差。为解决这一问题，我们开发了一种策略梯度技术，其中包含一个群体级奖励函数，作用于匹配的反事实提示词对。为完整起见，我们构建了一个受控反事实提示词对数据集，并设计了一种评估方法，分别衡量人口统计信息与答案存在因果相关性的情形。最后，我们在多个公平性基准上验证了我们的发现。我们证明，我们的方法在减少反事实差异的同时保持了整体回复质量，并且当此类敏感信息确实相关时，模型仍能继续做出适当调整。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.22942 [cs.CL] |
| （或 arXiv:2610.22942v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22942 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Başar Demir [查看邮箱]
[v1]
2026年10月16日星期五 05:09:40 UTC（9,347 KB）
来源：arXiv cs.CL · arxiv.org