arXiv cs.CY· Christian Arnold, Ernesto Calvo, Guadalupe Gonzalez, Sebasti\'an Vallejo Vera, Tiago Ventura·· 12 小时前AI 评分47
语言模型中的不可见化如何成为概率偏差来源
Invisibilization as a Source of Probability Bias in Language Models
AI 导读
研究用双瓮博弈测量语言模型因信息来源而拒绝信息的代价：在6,600次会话中，OpenAI与Anthropic的领先模型常拒绝评估报告者，被描述为黑人的报告者遭拒率最高达46%，被描述为白人的仅9%，但实际评估时前者获得的信任略高。
正文 · AI 翻译
摘要：语言模型经过对齐，避免使用种族、民族和性别等受保护属性来影响其回答。因此，当提示中出现此类属性时，它们越来越多地拒绝回答或含糊其辞。然而，如果一个系统必须决定从人们告诉它的内容中学习多少，那么因为信息来源而拒绝有价值的信息代价高昂。在本文中，我们用一个有精确贝叶斯答案的双瓮游戏来衡量拒绝信息的代价。我们向两家开发商（OpenAI 和 Anthropic）的领先 LLM 模型提供一个提示，要求它们决定在多大程度上信任一位参与者提供的无法核实的报告，而该参与者的描述我们在十种配置中随机化（6,600 次会话）。我们表明，领先模型常常拒绝评估报告者，以由描述而非证据设定的比率将信息视为毫无价值。在最宽泛的情况下，模型拒绝黑人描述的报告者的比例为 46%，拒绝白人描述的报告者的比例为 9%；然而，当它们确实评估信息时，黑人描述的报告者获得的信任略多。这种偏差对于比较平均信任或仅查看已评估案例的审计是不可见的。它随着推理努力而增长，跟随词语而非类别（模型对“Black”援引种族，但对其西班牙语翻译 negro 不援引，对“Indigenous”则从不援引），并且在从业者会首先尝试的警告指令下恶化。我们还提出了一种减少拒绝率偏差的评分选项。当模型的信任在重复轮次中对照揭示的真相进行评分时，它对相同的记录给予同等信任。在 Anthropic 和 OpenAI 的五种配置中的四种里，到最后一轮时信任的种族差距降至 0.02 以下。
| 评论： | 17 页，4 幅图，2 张表 |
| 主题： | 计算与语言（cs.CL）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2610.30785 [cs.CL] |
| （或 arXiv:2610.30785v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30785 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Christian Arnold [查看电子邮件]
[v1]
2026 年 10 月 22 日星期四 06:03:35 UTC（317 KB）
来源：arXiv cs.CY · arxiv.org