arXiv cs.CL· Irina Proskurina, Guillaume Metzler, Julien Velcin·· 9 天前AI 评分23
Fair-GPTQ：面向大语言模型的偏见感知量化方法
Fair-GPTQ: Bias-Aware Quantization for Large Language Models
AI 导读
Fair-GPTQ 是首个在量化目标中显式加入群体公平性约束的量化方法，通过引导舍入操作学习减少受保护群体的偏见生成，聚焦职业偏见及性别、种族、宗教歧视语言。该方法在零样本基准上保留至少 90% 基线准确率，相比半精度模型降低不公平性，同时保持 4-bit 量化的内存与速度优势。该工作已被 TACL 接收。
正文 · AI 翻译
摘要：生成式语言模型对内存的高需求引起了人们对量化技术的关注，量化通过将模型权重映射为低精度整数来减少内存占用。然而，近期的实证研究表明，量化虽然高效，却可能增加生成有偏输出的可能性，并降低在公平性基准上的表现。在本工作中，我们通过在量化目标中加入显式的群体公平性约束，在量化与模型公平性之间建立了新的联系，并提出了 Fair-GPTQ，这是首个明确为减少大语言模型不公平性而设计的量化方法。所加入的约束引导舍入操作的学习朝着为受保护群体生成更少偏见文本的方向进行。具体而言，我们关注涉及职业偏见的刻板印象生成，以及跨越性别、种族和宗教的歧视性语言。Fair-GPTQ 对性能的影响极小，在零样本基准上至少保留了 90% 的基线准确率，相对于半精度模型降低了不公平性，并保留了 4 位量化的内存和速度优势。
| 评论： | 已被 TACL 接收发表。MIT Press 出版前版本 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2509.15206 [cs.CL] |
| （或使用 arXiv:2509.15206v4 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2509.15206 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Irina Proskurina [查看电子邮件]
[v1]
2025年9月18日星期四 17:56:16 UTC（448 KB）
[v2]
2026年2月2日星期一 14:23:42 UTC（414 KB）
[v3]
2026年7月6日星期一 11:20:29 UTC（5,287 KB）
[v4]
2026年10月8日星期四 13:57:23 UTC（2,038 KB）
来源：arXiv cs.CL · arxiv.org