arXiv cs.CY· Yusuke Kumagae, Masahiro Kaneko·· 12 小时前AI 评分39
研究提出受访者覆盖缺口 RCG：六款 LLM 的硅采样答案分布吻合但受访者不匹配
Silicon Samples Match the Answers but Not the Respondents
AI 导读
研究提出受访者覆盖缺口（RCG）指标，以完整答案画像衡量人类受访者与 LLM 生成受访者之间的距离。在两份美国社会调查上，评估的六款 LLM 均未覆盖人类受访者，主要设置下表现不及按人类边际分布独立采样各答案的基线。所有测试的提示与推理设置中，每款 LLM 的 RCG 都高于拟合人类数据的高斯 copula。
正文 · AI 翻译
摘要：硅基采样通过让大型语言模型（LLM）以具有给定人口统计属性的人的身份回答调查来生成调查受访者，由此产生的合成人群正越来越多地被用于替代真实人群。现有的评估侧重于单个答案的准确性、每个问题的答案分布以及问题之间的相关性。这些评估都没有对受访者本身进行比较，因此，如果一个生成器的受访者所给出的答案组合在真实受访者中并不存在，但只要它能复现每一个答案分布，仍然可以获得高分。我们提出了受访者覆盖缺口（RCG），它将每个受访者表示为由其完整答案画像定义的一个点，并衡量每个人类受访者与最近的生成受访者之间的距离，相对于人类样本之间的距离。在两项美国社会调查中，我们评估的全部六个 LLM 都未能覆盖人类受访者，并且在我们主要设置下，它们落后于一个从人类边际分布中独立采样每个答案的基线。在我们测试的各种提示和推理设置下，每个 LLM 的 RCG 都高于拟合人类数据的高斯 copula。
| 主题： | 计算与语言（cs.CL）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2610.30900 [cs.CL] |
| （或 arXiv:2610.30900v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30900 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yusuke Kumagae [查看电子邮件]
[v1]
2026年10月22日星期四 08:22:50 UTC（193 KB）
来源：arXiv cs.CY · arxiv.org