arXiv cs.CY· Zengqing Wu, Chuan Xiao·· 12 小时前AI 评分34
语言模型为何给与群体相关的字段错误权重：一项证据参照审计
Language Models Give Group-Linked Fields the Wrong Weight
AI 导读
研究提出一种“证据参照审计”，将模型对代理字段的依赖程度与已知结果规则及贝叶斯线性回归两个参照对比，并在已知字段权重的模拟患者排序任务中测试四个模型。结果显示：字段零预测价值时模型仍依赖无信息字段，代理变具预测性时依赖增长远低于参照，有序标签比任意标签引发更多依赖且四个模型方向一致，排序准确率并未随依赖变化同步变化。作者主张审计应报告相对明确预测参照的依赖度并附准确率。
正文 · AI 翻译
摘要：大型语言模型越来越多地被用于评判人，而它们的回答可能依赖于与种族等受保护属性相关的输入，即使该属性从未被展示。要解释这种依赖，需要知道这些输入增加了多少预测信息，但审计往往只报告决策是否发生变化。我们引入一种以证据为参照的审计方法，将代理依赖与两个参照进行比较：已知的结果规则，以及在相同标注样本上拟合的贝叶斯线性回归，同时单独衡量排序准确率。我们将其应用于模拟患者排序任务中的四个模型，该任务具有已知的字段权重。我们得到四项结果。第一，在零预测价值下，模型仍然依赖于不携带任何信息的字段，而同样本学习器则没有。第二，随着代理变量变得具有预测性，依赖的增长远小于参照。第三，展示格式有影响。有序标签比任意标签引起更多依赖，这一方向在全部四个模型中都成立。第四，排序准确率并未一致地跟随这些依赖变化。基于这些发现，我们认为决策变化和准确率无法表明代理依赖是否由证据所支持。审计应报告相对于明确预测参照的依赖，并同时报告准确率。其取值随群体成员身份变化的有序字段，例如分数或收入区间，是一个有用的起点。总之，这些结果使得衡量依赖偏离证据的程度成为可能，而不是仅从观察到的选择中推断。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2608.22887 [cs.AI] |
| （或 arXiv:2608.22887v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2608.22887 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zengqing Wu [查看电子邮件]
[v1]
2026年8月24日星期一 07:20:29 UTC（109 KB）
[v2]
2026年10月21日星期三 14:56:36 UTC（165 KB）
来源：arXiv cs.CY · arxiv.org