arXiv cs.AI· Francesco Di Cursi, Chiara Boldrini, Andrea Passarella, Marco Conti·· 1 天前AI 评分31
大语言模型作为数字孪生：基于问卷的分布感知评估
Large Language Models as Digital Twins: a Distribution-Aware Questionnaire-Based Evaluation
AI 导读
研究让 GPT-4、Gemma、Llama 3.1 和 Mistral 在 MyPersonality 数据集上根据用户社交媒体帖子完成 BFI-2-60 大五人格问卷，并与用户真实得分对比。
正文 · AI 翻译
摘要：本文研究大型语言模型能否像特定个体那样回答人格问卷。给定用户的社交媒体帖子，模型以该用户的身份完成 BFI-2-60 大五人格问卷。预测的回答被转换为特质分数，并与用户的实际分数进行比较。我们在 MyPersonality 数据集上评估了 GPT-4、Gemma、Llama 3.1 和 Mistral。为判断预测是否反映了用户写作中的信息，我们将其与在没有用户文本的情况下生成的回答以及从一般人群倾向中得出的数值进行比较。我们衡量了所有用户的预测误差，并分别针对特质分数低、中、高的个体进行衡量。我们还测试了在仅提供目标大五人格分数、没有用户文本的情况下，LLM 能否表达出明确的人格画像，并考察了随着提供更多文本预测如何变化。结果表明，用户文本并未持续提升性能。模型在特质分布中部附近表现更好，而在低端和高端，它们往往接近中心值，或在一端表现良好而在另一端表现不佳。当给定明确画像时，GPT-4 最清晰地将特质信息转化为一致的问卷回答，尤其是对于外向性和神经质。增加上下文并未系统性地降低误差：开源模型波动更大，而 GPT-4 相对稳定。总体而言，所评估的模型未能持续复现特定个体的问卷行为。
| 评论： | 本工作部分由欧盟在 2021-2027 年国家计划“研究、创新与竞争力”框架内资助，项目 SINTESI（编号 MI_0000962）。F. Di Cursi、C. Boldrini、A. Passarella 和 M. Conti 的工作还部分由 PNRR - M4C2 - Investimento 1.3、Partenariato Esteso PE00000013 - “FAIR”资助 |
| 主题： | 人工智能（cs.AI）；计算机与社会（cs.CY） |
| 引用为： | arXiv:2611.16586 [cs.AI] |
| （或本版本使用 arXiv:2611.16586v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2611.16586 由 DataCite 颁发 arXiv DOI（待注册） |
提交历史
来自：Francesco Di Cursi [查看电子邮件]
[v1]
2026年11月12日 星期四 10:18:16 UTC（761 KB）
来源：arXiv cs.AI · arxiv.org