arXiv cs.AI· George Koomullil (Ascendr, PBC)·· 10 小时前AI 评分29
当 AI 标注者意见不一致时如何计量：美元加权测量、选择性机器标注与预算内人工复核
Counting Under Disagreement: Dollar-Weighted Measurement, Selective Machine Labelling and Budgeted Human Review from Disagreeing AI Readers of Administrative Text
AI 导读
研究基于美国税务申报中 121,070 条拨款用途文本（799,675 条记录、总额 $126.4B），由规则分类器和三个语言模型标注，并抽样 651 条由三人独立阅读。8 个预测器各自总额跨度 $11.2-15.0B，校正后差异在 $0.4B 以内；两阶段复核策略在 100 条文本预算下将总额 RMSE 降低 28%，而独立读者使估计总额偏移 $3.93B，为读者内抽样区间的 2.2 倍。
正文 · AI 翻译
摘要：我们研究这样一种 AI 辅助测量：一个文本标签适用于许多行政记录，目标是货币总额，而作为机器锚点的人工读数彼此不一致。测试平台是来自美国税务申报的 121,070 条拨款用途文本（799,675 条记录，1264 亿美元），由基于规则的分类器和三个语言模型标注，并设计了一个由三人依据同一编码手册独立阅读的 651 条文本样本。我们给出了在泊松抽样下，固定预测变量差分估计量以及交叉拟合预测变量（其折在抽样前分配给整个抽样框）的精确条件，并通过模拟评估了所实施的固定规模程序：8 个自身总额跨度在 112 亿至 150 亿美元的预测变量，经校正后在 4 亿美元以内一致。两条规则——在给定美元加权误差下接受机器标签的规则，即美元度量下的加权保形 p 值，以及对设计误差估计进行 Learn-then-Test 的规则——在嵌套留出折以及用合成真值重新抽取的设计上进行了评估；它们在部署中的误差控制尚未确立，而基于计数的规则在按美元抽取的样本下不接受任何文本。在一次对每个人工标签都计费的复现中，一种两阶段审核策略（其校准器在其自身第一阶段上拟合）在 100 条文本的预算下，相对于按美元比例抽样，将总额的 RMSE 降低了 28%，而纯 Neyman 分配在预测变量未校准时失败。独立读者使估计总额偏移 39.3 亿美元，是读者内抽样区间的 2.2 倍，且机构级区间在所有规模下均覆盖不足。每个主要结果都在每位读者下重新运行。这些结果既指出了使用学习预测来决定一个人应验证什么的益处，也指出了其局限。
| 评论： | 61 页，8 幅图，46 张表。复现记录（校准样本、总体汇总、提示词和分析代码）：此 https URL |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG）；方法论（stat.ME） |
| 引用为： | arXiv:2611.13215 [cs.AI] |
| （或 arXiv:2611.13215v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.13215 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：George Koomullil [查看电子邮件]
[v1]
2026 年 11 月 9 日星期一 20:37:48 UTC（266 KB）
来源：arXiv cs.AI · arxiv.org