arXiv cs.CL· Tobias Holtdirk, Georg Ahnert, Joseph W Sakshaug, Anna-Carolina Haensch·· 10 小时前AI 评分31
用大语言模型填补民意调查缺失数据：ICL 方法最多只能与统计基线持平
Imputation of Public Opinion Data with Large Language Models
AI 导读
研究首次按多重插补指标评估 LLM 填补民意调查缺失值的效果，基于四项调查超 500 万条填补回答、覆盖多种缺失机制。在 84 种 ICL 配置和六个开源权重模型上，最佳 ICL 方法优于零样本 persona prompting，但最多只能与 MICE PMM、TabPFN 等统计基线持平，且对调查主题敏感、算力消耗高 2-3 个数量级。
正文 · AI 翻译
摘要：大型语言模型（LLM）常被评估为调查回答的模拟器，然而应用调查研究主要面临项目无回答问题。插补填补这些缺失值，以恢复部分观测数据集的整体结构，并有其自身定义明确的评价标准，这些标准与预测准确率有根本不同。我们首次在四种民意调查、多种缺失机制下超过 500 万条插补回答上，依据恰当的多重插补指标和统计基线对 LLM 插补进行评估。我们通过考察 84 种 ICL 配置并在六个开放权重 LLM 上比较表现最佳的配置，来评估用于该任务的上下文学习（ICL）。最强的 ICL 方法优于零样本人物提示，但充其量只能与统计基线（MICE PMM、TabPFN）相竞争。ICL 方法对调查主题敏感，且消耗的计算量高出 2-3 个数量级。此外，LLM 调查模拟中常用的预测指标（macro-F1、TVD）无法可靠地反映插补质量。我们的发现凸显了针对 LLM 插补开展适需评估的重要性，其中成熟的多重插补仍是更好的默认选择。
| 主题： | 计算与语言（cs.CL）；方法论（stat.ME） |
| 引用为： | arXiv:2606.09351 [cs.CL] |
| （或 arXiv:2606.09351v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.09351 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tobias Holtdirk [查看邮箱]
[v1]
2026年6月8日星期一 11:25:10 UTC（2,278 KB）
[v2]
2026年10月30日星期五 16:50:36 UTC（1,458 KB）
来源：arXiv cs.CL · arxiv.org