跳到正文
arXiv cs.CY· Erzheng Zhang, Agnes Chu·· 23 小时前AI 评分34

同一模型,不同人群:数值执行契约与公平性审计的可复现性

Same Model, Different People: Numerical Execution Contracts and the Reproducibility of Fairness Audits

AI 导读

研究在模型、记录、阈值和审计代码固定下改变数值执行契约,发现 Tier 1 仅改变乘积与求和的算法即可在阈值附近改变决策,且取决于 GPU 与软件栈,但未改变预设未加权检验的判定。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:公平性审计将训练好的模型视为固定的决策函数,但评估它的算术运算也是该函数的一部分。本研究保持模型、记录、阈值和审计代码不变,并在两个层级上改变数值执行契约。第 1 层仅改变乘积与求和的计​​算方式,序列化权重逐字节相同,是对算术的因果检验。第 2 层运行降低精度的部署配置(BF16 计算、FP8 和 8 位权重),这些配置还可能对权重进行舍入并更换引擎与内核,因此其影响归属于配置本身。该研究在四个公开任务(包括医院再入院)上审计了三个表格模型家族和两个开放权重语言模型(40 亿和 240 亿参数),运行于 NVIDIA、AMD 和 Apple 的 CPU 与 GPU 上。第 1 层改变了阈值附近的决策,具体哪些决策发生改变取决于 GPU 及其软件栈,但在预先指定的非加权检验下没有改变任何判定结论。第 2 层配置改变了更多决策和部分诊断性判定,但没有改变任何五分之四规则判定。使用 vLLM FP8 部署 240 亿参数模型时,选中了 54% 的人而非 45%,并通过了一项按性别进行的就业状况审计,而其严格的 FP32 参考模型未能通过:其人口统计均等差距和均等机会差距分别从 0.0567 和 0.0515 降至 0.0417 和 0.0394,诊断容差为 0.05。在参考模型的选择数量下,FP8 未通过人口统计均等,且没有任何解读能使其均等机会变化的配对区间排除零。所声明的审计结果取决于配置;FP8 并未被证明更公平。在冻结阈值下,配置所改变的每一项通过-失败判定,其抽样区间都包含其判定标准。该研究提出了一种审计稳定性协议:审计员在评分前声明契约、分组、权重和检验,并记录每项判定在这些条件下的取值范围,将其与抽样不确定性区分开。
评论: 47 页,2 幅图,35 张表。审稿中
主题: 计算机与社会(cs.CY);机器学习(cs.LG)
引用为: arXiv:2611.23657 [cs.CY]
  (或 arXiv:2611.23657v1 [cs.CY] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23657

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Erzheng Zhang [查看邮箱]
[v1] 2026 年 11 月 18 日星期三 00:26:37 UTC(232 KB)

来源:arXiv cs.CY · arxiv.org