arXiv cs.CL· Kuniko Paxton, Ifeoluwa Wuraola, Dhavalkumar Thakker·· 12 小时前AI 评分31
模型规模与量化如何影响问答中的社会偏见与拒答行为
Effects of Model Scale and Quantization on Social Bias and Abstention in Question Answering
AI 导读
研究基于 BBQ 基准测试 Qwen3、Gemma-3 和 SmolLM2 的多个规模与量化配置，发现更大模型问答准确率更高，但偏见无简单缩放趋势，量化影响因配置而异。26 个偏见回答更少的配置中有 20 个同时出现过度拒答增加，说明观测到的低偏见部分源于更多拒答。公平性评估需联合考虑偏见回答、拒答、提示词表述与答案选项设计。
正文 · AI 翻译
摘要：在资源受限环境中部署小型和量化语言模型，引出了一个重要的公平性问题：当压缩模型产生更少的偏见回答时，这反映的是更公平的行为，还是更多的弃答？我们使用 BBQ 基准，在 Qwen3、Gemma-3 和 SmolLM2 的多种模型规模和量化设置下，研究问答（QA）中的这一问题。我们还考察了在替代提示表述下，以及在强制选择设置中移除“Unknown”选项时，观察到的趋势是否保持稳定。结果表明，更大的模型取得了更高的问答准确率，但偏见没有表现出简单的规模趋势，量化效应在不同配置间也存在差异。值得注意的是，在偏见回答更少的 26 种配置中，有 20 种同时表现出过度弃答增加，这表明观察到的较低偏见可能部分反映了更多的弃答。这些发现表明，观察到的较低偏见可能部分反映了更多的弃答，公平性评估应联合考虑偏见回答、弃答、提示表述和答案选项设计。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29657 [cs.CL] |
| （或 arXiv:2610.29657v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29657 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kuniko Paxton [查看邮箱]
[v1]
2026年10月21日星期三 12:38:04 UTC（2,964 KB）
来源：arXiv cs.CL · arxiv.org