arXiv cs.AI· Sion Weatherhead, Ben Newell, Aaron Belbasis, Flora Salim·· 1 天前AI 评分38
研究：LLM 人格模拟难以复现人类认知多样性
Imperfectly Imperfect: Evaluating Graded Cognitive Diversity in LLM Persona Simulations
AI 导读
一项发表于 NeurIPS 2026 的 cognition-suite 评估发现，LLM 智能体在模拟人类认知多样性上存在明显缺陷。
正文 · AI 翻译
摘要：大语言模型（LLM）智能体越来越多地被用作社会、行为和决策研究中的合成参与者，然而它们能否在参与模拟行为时表达出所赋予的分级认知多样性，目前仍不清楚。我们引入了一套认知评估套件，用于检验模拟人群能否复现人类在推理、自我报告特质、特质之间的关联以及下游行为上的变异。智能体以合成或源自人类的认知反思、认知需求和大五人格画像为条件，回答与 473 名成年人组成的队列相同的套件：两项新组装的测试——认知反思测试（CRT）和行为反思测试（BRT，其决策场景在行为中测量反思）——以及一项已有的 CRT 和两份特质问卷。在四个模型的七次完整套件模拟运行中，智能体在自我报告问卷上复现了认知需求和大五人格特质的分布，但在模拟认知任务表现和下游行为的多样性方面有所不足。在四次 Claude Sonnet 4.6 运行中，无论其角色被赋予何种反思水平，每个智能体在两项 CRT 上都获得满分。在另外三次运行中，智能体犯下直觉诱饵错误（CRT 题目所诱导的诱人错误答案），但 49% 至 85% 获得满分，而人类样本中这一比例低于 10%。Claude Sonnet 5 最接近人类逐题的诱饵模式；另外两次运行产生的诱饵更少，且题目之间的差异更小。在 BRT 场景中，每次运行都使 15 种编码行为中的 8 至 11 种过度产生至少 20 个百分点，而人类在反思与行为之间的关联仅部分延续。有用的合成人群不仅必须保留特质描述符，还必须保留这些描述符旨在组织的推理、错误类型和行为方面的结构化变异。
| 评论： | 已被 NeurIPS 2026（评估与数据集赛道）接收。42 页，14 幅图。代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2611.10508 [cs.CL] |
| （或此版本的 arXiv:2611.10508v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2611.10508 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sion Weatherhead [查看电子邮件]
[v1]
2026 年 11 月 7 日星期六 06:19:05 UTC（570 KB）
[v2]
2026 年 11 月 11 日星期三 01:43:28 UTC（568 KB）
来源：arXiv cs.AI · arxiv.org