arXiv cs.CL· Alejandro Mozo Quesada (Universidad de M\'alaga, Spain), Sergio G\'alvez Rojas (Universidad de M\'alaga, Spain), Francisco L\'opez Valverde (Universidad de M\'alaga, Spain)·· 10 小时前AI 评分34
审计 System One 决策模型人口统计偏见的新协议：交换、复现、读取概率质量
Swap, Replicate, Read the Mass: A Protocol for Auditing Demographic Bias in System One Decision Models
AI 导读
研究提出一套针对 System One 决策模型的偏见审计协议，在 BBQ、CrowS-Pairs 和 SilverSpoon 三个基准上测试十二个模型加一个无思考消融，共 1,638,000 次决策。
正文 · AI 翻译
摘要：System One 决策模型用带类型、按概率评分的答案取代文本生成，并已进入生产环境。答案在无人参与的情况下执行，且尚无针对既有偏见基准的多模型审计。我们提供了这一审计：三个基准：BBQ（全部十一个类别）、CrowS-Pairs 和 SilverSpoon，适配到类型化接口，十二个模型外加一个无思考消融，共 1,638,000 个决策。每个对顺序敏感的条目都运行两次并交换选项；原生类型化模型还交换标签；十个配置在额外随机种子和批次 16 下重复。我们发现广泛的刻板印象对齐、依赖顺序的答案，以及追踪不稳定性而非偏见的置信度。在 BBQ 中，143 个模型×类别得分中有 97 个显著，94 个对齐，而商业参考模型在 99.5% 的模糊条目上弃权，隐藏了对齐的概率质量。选项交换使 0.0% 到 72.6% 的选择发生翻转；类型化评分保持在 10% 以下，Laya 除外（22-33%），而未调优的字母提示达到 73%。CrowS-Pairs 偏好跨度从 0.496 到 0.816，布尔答案可能由位置决定（1.00 对 0.005）。SilverSpoon 判断在八个决策模型中的五个偏向低社会经济地位标签，继承自 9B 主干或由调优诱导。审计必须默认置换选项并反转问题；顺序不变的评分应成为采购要求。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.00496 [cs.AI] |
| （或 arXiv:2611.00496v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00496 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Alejandro Mozo Quesada [查看电子邮件]
[v1]
2026年10月31日星期六 00:36:15 UTC（90 KB）
来源：arXiv cs.CL · arxiv.org