arXiv cs.CL· Jin Huang, Yutong Xie, Wanli Song, Xingjian Zhang, Walter Yuan, Matthew O. Jackson, Qiaozhu Mei·· 10 天前AI 评分24
BehaviorBench：面向行为科学任务的基础模型基准测试
BehaviorBench: Benchmarking Foundation Models for Behavioral Science Tasks
AI 导读
研究者推出 BehaviorBench，从行为预测与模拟、策略决策、受试者特质推断、行为知识应用四项能力评估基础模型，并在个体与分布两个层面衡量输出。评测显示该基准对主流通用 LLM 和专训行为基础模型仍具挑战，个体级与分布级表现并不总一致：通用 LLM 倾向低估人类回答多样性，行为基础模型则在个体预测上落后。用多样行为数据微调可同时提升个体预测与分布对齐。
正文 · AI 翻译
摘要：基础模型已越来越多地应用于心理学、社会学和经济学等行为科学领域。尽管这些模型在调查回复预测和人类受试者实验模拟等任务中展现出潜力，但目前仍缺乏对其在多样化行为科学任务中表现如何的系统性理解。我们提出 BehaviorBench，这是一个综合性基准，从四项核心能力评估基础模型：（1）行为预测与模拟，（2）策略性决策，（3）受试者特质推断，（4）行为知识应用。至关重要的是，BehaviorBench 在个体和分布两个层面评估模型输出，不仅捕捉每个受试者的准确性，还捕捉群体层面的对齐，这是行为有效性的基本要求。我们的评估表明，BehaviorBench 对领先的通用 LLM 和专门使用行为数据训练的行为基础模型而言仍具挑战性。我们发现个体层面和分布层面的表现并不总是一致。通用 LLM 倾向于低估人类响应的多样性，而行为基础模型在个体层面预测上往往落后。我们的研究进一步表明，在多样化行为数据上进行微调如何能够同时改善个体层面预测和分布对齐，平衡这两个目标。我们的结果凸显了在个体和分布两个层面进行评估的重要性，确立了 BehaviorBench 作为开发和评估行为对齐 AI 系统的基础。我们的 BehaviorBench 和模型可通过 此 https URL 访问
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2606.24162 [cs.CL] |
| （或 arXiv:2606.24162v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2606.24162 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jin Huang [查看电子邮件]
[v1]
2026年6月23日星期二 05:30:54 UTC（1,726 KB）
[v2]
2026年10月7日星期三 17:05:41 UTC（1,108 KB）
来源：arXiv cs.CL · arxiv.org