arXiv cs.CL· Sebastian Pohl, Harsh Mehta, Pranav Mambayil, Abdul Ghafoor, Franziska Lesigang, Yufang Hou, Christian Hilbe·· 11 小时前AI 评分45
研究：LLM 难以在受控环境中模拟人类信念更新
LLMs struggle to simulate human belief updates in controlled environments
AI 导读
一项研究用 391 名英国 Prolific 参与者的真实数据测试六个 LLM 能否模拟个体信念更新，结果显示五个模型在给定真实初始立场时无系统性方向偏差，但个体误差差异显著。
正文 · AI 翻译
摘要：LLM 正越来越多地被用作社会科学实验中人类研究参与者的替代品，但这一做法的保真度很少被直接检验。我们检验了六个 LLM 能否模拟个体人类的信念更新，将 LLM 输出与来自 Prolific 平台上 391 名英国参与者的真实数据逐一对比，这些参与者在阅读 Reddit 评论后更新了他们对三个讨论话题的立场。每位参与者由一个 LLM 模拟，该 LLM 以根据其人口统计和人格特质数据生成的人物设定为条件。给定参与者实际的初始立场，六个模型中有五个在其模拟的更新后立场中没有表现出系统性的方向偏差，尽管它们个体层面误差的大小在不同模型之间差异很大。所有六个模型都无法模拟初始立场本身，也无法从自我生成的立场中产生忠实的信念更新。所有模型都出现了三种系统性偏差：中立立场被过度代表、信念转变比人类更频繁但幅度更小，以及无法按说服力对评论进行排序。人口统计和人格特质人物设定对保真度没有一致的影响。我们得出结论：如果没有以现实的初始立场为基础，LLM 对人类信念动态的模拟不能被认为是可靠的，而当前的多轮社交媒体模拟很少满足这一条件。
| 学科： | 计算与语言（cs.CL）；社会与信息网络（cs.SI） |
| 引用为： | arXiv:2607.28347 [cs.CL] |
| （或 arXiv:2607.28347v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2607.28347 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sebastian Pohl [查看邮箱]
[v1]
2026年7月30日 星期四 15:19:18 UTC（1,369 KB）
[v2]
2026年11月2日 星期一 12:32:53 UTC（1,929 KB）
来源：arXiv cs.CL · arxiv.org