arXiv cs.CY· Erzheng Zhang, Agnes Chu·· 23 小时前AI 评分34
同一模型,不同人群:数值执行契约与公平性审计的可复现性
Same Model, Different People: Numerical Execution Contracts and the Reproducibility of Fairness Audits
AI 导读
研究在模型、记录、阈值和审计代码固定下改变数值执行契约,发现 Tier 1 仅改变乘积与求和的算法即可在阈值附近改变决策,且取决于 GPU 与软件栈,但未改变预设未加权检验的判定。
正文 · AI 翻译
摘要:公平性审计将训练好的模型视为固定的决策函数,但评估它的算术运算也是该函数的一部分。本研究保持模型、记录、阈值和审计代码不变,并在两个层级上改变数值执行契约。第 1 层仅改变乘积与求和的计算方式,序列化权重逐字节相同,是对算术的因果检验。第 2 层运行降低精度的部署配置(BF16 计算、FP8 和 8 位权重),这些配置还可能对权重进行舍入并更换引擎与内核,因此其影响归属于配置本身。该研究在四个公开任务(包括医院再入院)上审计了三个表格模型家族和两个开放权重语言模型(40 亿和 240 亿参数),运行于 NVIDIA、AMD 和 Apple 的 CPU 与 GPU 上。第 1 层改变了阈值附近的决策,具体哪些决策发生改变取决于 GPU 及其软件栈,但在预先指定的非加权检验下没有改变任何判定结论。第 2 层配置改变了更多决策和部分诊断性判定,但没有改变任何五分之四规则判定。使用 vLLM FP8 部署 240 亿参数模型时,选中了 54% 的人而非 45%,并通过了一项按性别进行的就业状况审计,而其严格的 FP32 参考模型未能通过:其人口统计均等差距和均等机会差距分别从 0.0567 和 0.0515 降至 0.0417 和 0.0394,诊断容差为 0.05。在参考模型的选择数量下,FP8 未通过人口统计均等,且没有任何解读能使其均等机会变化的配对区间排除零。所声明的审计结果取决于配置;FP8 并未被证明更公平。在冻结阈值下,配置所改变的每一项通过-失败判定,其抽样区间都包含其判定标准。该研究提出了一种审计稳定性协议:审计员在评分前声明契约、分组、权重和检验,并记录每项判定在这些条件下的取值范围,将其与抽样不确定性区分开。
| 评论: | 47 页,2 幅图,35 张表。审稿中 |
| 主题: | 计算机与社会(cs.CY);机器学习(cs.LG) |
| 引用为: | arXiv:2611.23657 [cs.CY] |
| (或 arXiv:2611.23657v1 [cs.CY] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23657 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Erzheng Zhang [查看邮箱]
[v1]
2026 年 11 月 18 日星期三 00:26:37 UTC(232 KB)
来源:arXiv cs.CY · arxiv.org