arXiv cs.CY· Kiant\'e Fernandez, Caitlin Chen, Jialu Zhou, Bartek Sadowski, Anthony C. Miceli, Ian Krajbich·· 11 小时前AI 评分47
CogArena：在交互式行为实验中评测多模态智能体
CogArena: Benchmarking Multimodal Agents on Interactive Behavioral Experiments
AI 导读
CogArena 是一个包含十种社会与行为科学实验范式的基准，智能体通过标准网页浏览器、使用与在线被试相同的视觉刺激和响应界面完成实验。评测采用三级评分，分别考察任务是否完成、完成准确度以及数据是否呈现该范式在人类身上稳定出现的行为特征。对四个多模态模型各任务运行十次后发现，完成实验与复现行为特征并不等同：许多会话未能完成，完成的会话中部分特征可靠复现、部分完全无法复现。
正文 · AI 翻译
摘要：关于大语言模型认知能力的论断通常通过将行为范式转化为文本提示来检验，从而绕过了人类被试实际参与实验时所依赖的视觉界面和时间压力。与此同时，AI 智能体如今能够完成在线行为任务并产生类人数据，这引发了人们的担忧：社会科学与行为科学领域的在线数据集正日益面临被污染的风险。我们推出 CogArena，这是一个涵盖社会科学与行为科学十个实验范式的基准。智能体通过标准网页浏览器完成实验，使用与在线被试相同的视觉刺激和响应界面。三级评分程序评估智能体是否完成了任务、其表现有多准确，以及其数据是否呈现出每个范式在人类身上可靠产生的行为特征。在四个多模态模型上，每个任务各运行十次，我们发现完成实验与复现其特征是两回事。许多会话未能完成，而那些完成的会话可靠地复现了部分特征，另一些特征则完全未能复现。CogArena 提供任务、评分代码以及面向新提交的公开排行榜。
| 评论： | 28 页，4 幅图，11 张表。已被 NeurIPS 2026（评估与数据集 Track）接收。代码：此 https URL。排行榜：此 https URL |
| 主题： | 人工智能（cs.AI）；计算机与社会（cs.CY）；人机交互（cs.HC）；神经元与认知（q-bio.NC） |
| 引用为： | arXiv:2610.36484 [cs.AI] |
| （或 arXiv:2610.36484v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36484 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kiante Fernandez [查看邮箱]
[v1]
2026年10月27日星期二 01:42:35 UTC（262 KB）
来源：arXiv cs.CY · arxiv.org