LLM姓名人口分类准确率优势源于选择性标注
热点事件持续更新
LLM姓名人口分类准确率优势源于选择性标注
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Christian Pipal、Morgan Wack 与 Eva-Maria Vogel 发表研究,用 1 万个中文姓名、19,998 名自报种族的北卡罗来纳州选民和 300 名政治学作者的人工编码,比较 3 个大语言模型与 7 种传统工具在姓名性别、种族、族裔推断上的表现。 研究发现,LLM 的准确率优势部分来自选择性标注:Claude Haiku 只对约一半选民给出标注,而传统工具仅取置信度最高的一半样本时反而更准。研究还将选民样本与政党登记和年龄数据关联,考察分类误差对下游估计的影响。
AI 根据报道生成 · 1 小时前更新
最新进展11月5日 13:00
谁被统计在内?大语言模型、信息性拒答与姓名人口统计分类中的下游偏差报道时间线
沿着报道,了解事件的不同侧面。
11月5日
- arXiv cs.CY谁被统计在内?大语言模型、信息性拒答与姓名人口统计分类中的下游偏差
研究对比 3 个 LLM 与 7 种传统工具在姓名性别、种族、族裔推断上的表现,发现 LLM 的准确率优势部分来自选择性标注:Claude Haiku 只标注了一半选民,而传统工具仅取其置信度最高的一半时反而更准。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。