arXiv cs.CL· Daehwan Ahn, Chengfeng Mao, Dokyun Lee·· 10 小时前AI 评分42
研究发现更丰富的人物画像无法提升 LLM 模拟个体回答的保真度
Item-Mean Surrogates: Why Richer Personas Fail to Deliver Individual Fidelity in LLMs as Human Surrogates
AI 导读
一项跨四个公开数据集的研究提出"条目均值替代"现象：LLM 作为人类替代者所报告的大部分准确率来自预测条目均值，对个体偏离的解释力很弱。在重复作答数据中，偏离方差超过一半是跨场合稳定的信号，而 LLM 漏掉的主要是这部分稳定信号而非噪声。
正文 · AI 翻译
摘要：LLM 正越来越多地被用于模拟和研究人类行为。此类研究假定更丰富的人物设定能更好地预测特定个体的回答。我们在四个公开数据集上检验了这一前提。首先，我们将每个人对某一题目的回答拆分为题目均值（该题目的人类平均回答）和该个体相对题目均值的偏差。替代研究报告中报告的准确率很大一部分来自对题目均值的预测。LLM 的预测几乎无法解释这些偏差。我们将这一模式称为题目均值替代。其次，我们利用同一批参与者两次回答相同问题的数据集，将每个偏差拆分为稳定信号和噪声。稳定信号是重复回答所共有的偏差部分。噪声则是发生变化的部分。在该数据集中，偏差中超过一半的方差在不同场合间持续存在。LLM 未能捕捉到的部分大多是稳定信号，而非噪声。第三，我们将稳定信号拆分为个人信号（一个人跨题目的平均偏差）和个人×题目信号（其剩余的题目特定偏差）。个人×题目信号所解释的方差约为个人信号的 8.5 倍。LLM 大约能恢复其中的十分之一。更丰富的人物设定、不同的模型以及在人类回答上进行微调，仍无法恢复大部分个人×题目信号。两个微调模型恢复的该信号均少于其未微调版本。这些发现呼吁对 LLM 作为人类替代者进行更严格的实证审视。
| 评论： | 43 页，7 幅图，20 张表。包含补充信息（正文第 1-11 页；SI 附录第 1-32 页） |
| 主题： | 计算与语言（cs.CL）；计算机与社会（cs.CY）；机器学习（cs.LG） |
| ACM 分类： | I.2.7；J.4 |
| 引用为： | arXiv:2608.29455 [cs.CL] |
| （或本版本的 arXiv:2608.29455v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2608.29455 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Daehwan Ahn [查看邮箱]
[v1]
2026 年 8 月 29 日星期六 22:17:23 UTC（1,298 KB）
[v2]
2026 年 11 月 2 日星期一 00:27:13 UTC（614 KB）
来源：arXiv cs.CL · arxiv.org