跳到正文
arXiv cs.AI· Joon Sung Park, Carolyn Q. Zou, Jonne Kamphorst, Niles Egan, Aaron Shaw, Benjamin Mako Hill, Carrie Cai, Meredith Ringel Morris, Percy Liang, Robb Willer, Michael S. Bernstein·· 4 小时前AI 评分52

研究:基于丰富自我报告的AI模拟更准确、失真更少

AI Simulations Grounded in Rich Self-Reports Increase Accuracy and Reduce Distortion

AI 导读

研究团队开发AI语音访谈员,按American Voices Project协议访谈1052名美国成年人,并对比人口学属性、自撰人设、问卷、访谈及两者组合等提示方式下的模拟效果。

正文 · AI 翻译

作者:Joon Sung Park、Carolyn Q. Zou、Jonne Kamphorst、Niles Egan、Aaron Shaw、Benjamin Mako Hill、Carrie Cai、Meredith Ringel Morris、Percy Liang、Robb Willer、Michael S. Bernstein

查看 PDF

摘要:基于人口统计提示构建的 AI 人物模拟常常误判个体,并扭曲样本层面的模式。我们检验了丰富的自我报告数据能否减少这些问题。我们开发了一款 AI 语音访谈员,按照 American Voices Project 协议对 1,052 名美国成年人进行了两小时访谈,这些参与者还完成了问卷调查和行为实验。对于每位参与者,我们比较了分别以人口统计属性、自撰人设、问卷回答、访谈回答或问卷与访谈结合为提示的模拟。我们在留出回答上评估了准确性,并在样本层面测量了八种统计扭曲:均值偏差、方差压缩、回答分布扭曲、条目过度相关、态度坍缩到单一维度、意识形态分选、实验效应放大和超理性。在 General Social Survey(GSS)条目上,人口统计模拟的准确率为 60.4%,而访谈模拟和问卷模拟分别达到 69.4% 和 69.3%,两者结合达到 72.8%,相比之下参与者两周重测一致性为 79.5%。问卷和访谈也改善了对人格特质的预测,但未能改善对激励性经济选择的预测。访谈与问卷结合的模拟中位数弥补了人口统计模拟与参与者回答之间八种扭曲差距的 53.5%。一个在其他参与者的自我报告和对目标问题回答上微调的开源权重模型达到了 75.2% 的 GSS 准确率,并中位数弥补了 69.3% 的扭曲差距。总体而言,前沿模型和微调模型都减少了扭曲但未消除扭曲,且两者都未能减少经济博弈中的超理性。这些发现表明,定性和定量自我报告可以改善针对个人的模拟并减少统计扭曲。
主题: 人工智能(cs.AI);人机交互(cs.HC);机器学习(cs.LG)
引用为: arXiv:2411.10109 [cs.AI]
  (或本版本的 arXiv:2411.10109v4 [cs.AI])
  https://doi.org/10.48550/arXiv.2411.10109

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Michael Bernstein [查看邮箱]
[v1] 2024年11月15日星期五 11:14:34 UTC(2,928 KB)
[v2] 2026年4月22日星期三 03:48:01 UTC(5,565 KB)
[v3] 2026年6月28日星期日 22:37:51 UTC(3,480 KB)
[v4] 2026年11月16日星期一 21:52:11 UTC(5,351 KB)

来源:arXiv cs.AI · arxiv.org