arXiv cs.CY· Colin Priest·· 10 小时前AI 评分42
相同事实，不同救济：LLM 与 System One 决策中的语言画像与任意性
Same Facts, Different Remedy: Linguistic Profiling and Arbitrariness in LLM and System One Decisions
AI 导读
研究审计了 GPT-4o-mini、GPT-5-mini 和概率模型 Jev 三个消费者投诉救济决策系统，用保留全部事实的社会语言学改写测试其公平性。群体层面，年长、受过大学教育和高 SES 写作风格获得略更宽松的救济，所有金钱救济差距在 0.5 个百分点以内；个体层面，同一投诉的两种风格版本有 2.6-6.3% 的概率得到不同金钱裁决。
正文 · AI 翻译
摘要：大型语言模型越来越多地被用于解决消费者投诉，而投诉人的写作方式会随年龄、教育程度和社会经济地位（SES）而变化。我们使用对美国消费者金融投诉的社会语言学改写（改写时被要求保留每一项事实）来审计三个救济决策系统：两个返回单一标签的生成式 LLM（GPT-4o-mini 和 GPT-5-mini），以及一个返回救济分布的“系统一”概率模型（Jev）。我们使用预先注册的假设，在留出投诉上只测试一次，从而区分了单一标签审计所混淆的两种现象。在群体层面，年龄较大、受过大学教育和高 SES 风格的投诉人获得的救济略为更慷慨；这些效应可复现但很小，所有货币救济差距均在 0.5 个百分点以内。在个体层面，同一投诉的两个风格版本有 2.6-6.3% 的概率获得不同的货币决策。在对概率模型进行的方差成分分析中，两个改写模型共享的人设成分约占投诉内变异的 1.6%。人设差距主要与表达方式（词汇、语法、礼貌程度）相关，而非内容。阳性对照显示，三个系统对救济相关事实的响应强度是对风格的 49-387 倍。将所有投诉改写为一种标准风格后，GPT-4o-mini 的教育和 SES 差距分别缩小了 94% 和 87%，同时保留了事实敏感性，但逆转了概率模型的两个差距，且并未使个体决策更加稳定。独立的 LLM 审计员在 3.3% 和 11.7% 的改写中标记了实质性事实变化，而未标记的改写中不稳定性依然存在。对 LLM 决策系统的公平性审计应将群体差异和个体不稳定性作为独立结果分别报告。
| 评论： | 29 页，7 幅图。代码、提示词和预注册信息：此 https URL |
| 主题： | 计算机与社会（cs.CY）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.08995 [cs.CY] |
| （或 arXiv:2611.08995v1 [cs.CY] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08995 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Colin Priest [查看电子邮件]
[v1]
2026 年 11 月 6 日星期五 05:10:09 UTC（83 KB）
来源：arXiv cs.CY · arxiv.org