arXiv cs.CY· Christian Pipal, Morgan Wack, Eva-Maria Vogel·· 10 小时前AI 评分31
谁被统计在内？大语言模型、信息性拒答与姓名人口统计分类中的下游偏差
Who Gets Counted? Large Language Models, Informative Refusal, and Downstream Bias in Name-Based Demographic Classification
AI 导读
研究对比 3 个 LLM 与 7 种传统工具在姓名性别、种族、族裔推断上的表现，发现 LLM 的准确率优势部分来自选择性标注：Claude Haiku 只标注了一半选民，而传统工具仅取其置信度最高的一半时反而更准。
正文 · AI 翻译
摘要：研究人员经常根据姓名推断性别、种族和族裔，然而用于这一任务的标准工具却会错误分类多样性研究最需要测量的群体。大语言模型（LLM）被认为是一种补救方案，因为它们能准确标注多样化的姓名。我们考察这种准确性是否会延续到研究人员所报告的估计值上。我们以 10,000 个中文姓名、19,998 名自报种族的北卡罗来纳州选民，以及 300 名带有人工参考编码的政治学作者为样本，将三个 LLM 与七种传统工具进行比较，并将选民样本与政党登记和年龄数据关联。选择性标注解释了 LLM 准确性优势的一部分。Claude Haiku 只标注了一半选民，而一个仅限其最有把握的一半样本的传统工具反而更准确。所有工具的硬标签都将民主党登记率中的白人与黑人差距低估了 36% 至 65%，而基于 BISG 后验的 BIRDiE 估计与该差距的偏差在 0.03 以内。Haiku 缺失的标签在年龄上具有选择性，使年龄差距被夸大了六岁。与 BISG 结合后，LLM 的回答能细化个体标签，但并未显示出 BIRDiE 准确性的提升。分类器应以其产生的估计值来评判，包括缺失标签带来的后果
| 学科： | 计算机与社会（cs.CY） |
| 引用为： | arXiv:2611.06550 [cs.CY] |
| （或 arXiv:2611.06550v1 [cs.CY] 为本版本） | |
| https://doi.org/10.48550/arXiv.2611.06550 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Christian Pipal [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 14:15:04 UTC（307 KB）
来源：arXiv cs.CY · arxiv.org