arXiv cs.CL· Noah Dasanaike·· 3 天前AI 评分24
预训练语言模型作为社会科学研究的零样本工具
Pre-Trained Language Models as Zero-Shot Tools for Social Science Research
AI 导读
预训练语言模型无需任务特定训练即可完成记录链接与姓名人口统计推断。作者提出的 EnsembleLink 结合预训练嵌入与字符串评分器，性能匹配或超越多数既有方法，并能泛化到后者无法处理的文字与格式。LLM 在美国选民文件上的族裔推断准确率达 83.8%，高于 BISG 的 78.0%，开放权重模型可复现且精度接近，还能推断宗教、种姓等美国以外群体类别并减少下游地理种族差距估计的偏差。
正文 · AI 翻译
摘要：基于姓名的记录链接和人口统计推断是社会科学中的常规需求。这些问题的大多数方法都需要难以获取或成本高昂的标注训练数据。我表明，预训练语言模型无需特定任务的训练即可准确完成这两项任务。对于记录链接，我引入了 EnsembleLink，这是一种使用预训练嵌入以及基于字符串的评分器来检索少量候选记录，然后识别最可能匹配项的算法。EnsembleLink 达到或超过了大多数先前方法的性能，同时能够泛化到那些方法无法处理的文字系统和格式。对于从姓名推断族裔，我表明大型语言模型（LLM）在美国选民档案上达到高达 83.8% 的准确率，而姓名补充的 BISG 为 78.0%。开放权重模型提供了可复现的实现，其准确率接近这些模型。此外，LLM 能够推断美国以外宗教、种姓及其他族裔群体类别的群体成员身份，并减少对地理种族差距下游估计的偏差。当预训练编码了每项任务所需的世界知识时，特定任务的标签所增加的信息就更少。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19048 [cs.CL] |
| （或 arXiv:2610.19048v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19048 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Noah Dasanaike [查看电子邮件]
[v1]
2026年10月13日星期二 18:43:04 UTC（266 KB）
来源：arXiv cs.CL · arxiv.org