arXiv cs.CL· Jiaju Chen, Yuxuan Lu, Jiayi Su, Chaoran Chen, Songlin Xiao, Zheng Zhang, Yun Wang, Yunyao Li, Jian Zhao, Tongshuang Wu, Toby Jia-Jun Li, Dakuo Wang, Bingsheng Yao·· 11 小时前AI 评分31
ALMANAC：面向智能体协作的人类协作数据集，含动作级心智模型标注
Humans' ALMANAC: A Human Collaboration Dataset of Action-Level Mental Model Annotations for Agent Collaboration
AI 导读
研究者发布 ALMANAC 数据集，基于社会科学经典双人 Map Task 构建，包含 2,987 条协作动作，每条均配有理论驱动的心智模型标注，记录参与者自我推理、感知到的伙伴意图与团队目标。团队在预测人类下一轮行为与心智模型任务上基准测试了六个 LLM，结果显示该数据集可用于评估模型模拟人类协作行为并推断其心智模型的能力。该工作已被 EMNLP 2026 接收为 Findings。
正文 · AI 翻译
作者：Jiaju Chen、Yuxuan Lu、Jiayi Su、Chaoran Chen、Songlin Xiao、Zheng Zhang、Yun Wang、Yunyao Li、Jian Zhao、Tongshuang Wu、Toby Jia-Jun Li、Dakuo Wang、Bingsheng Yao
摘要：LLM 智能体的最新进展使其具备了复杂的认知能力，例如多步推理、规划和工具使用，这日益使这些智能体成为人类工作流中的协作伙伴。然而，有效的协作要求协作者在协作过程中持续保持并对齐对自身推理、伙伴意图和共同目标的心智模型。如今的智能体很少具备这种能力，因为它们主要针对任务完成进行优化，而非维护协作过程所需的底层心智模型。此外，社区缺乏带有动作级心智模型标注的真实人类协作数据，而这类数据可以引导智能体获得协作能力。为弥合这一差距，我们提出了 ALMANAC，这是一个基于 Map Task（社会科学中经典的二人路径规划任务）构建的、用于智能体协作的动作级心智模型标注数据集。ALMANAC 包含 2,987 个协作动作，每个动作都配有基于理论的心智模型标注，记录参与者的自我推理、感知到的伙伴意图以及感知到的团队目标。我们在预测人类下一轮行为和心智模型方面对六个 LLM 进行了基准测试。我们的结果证明了 ALMANAC 在评估模型模拟人类协作行为并推断其底层心智模型能力方面的效用。项目页面见 此 https URL。
| 评论： | 被接收为 EMNLP 2026 会议 Findings |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| MSC 分类： | 68T50 |
| 引用为： | arXiv:2606.06388 [cs.AI] |
| （或此版本的 arXiv:2606.06388v3 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2606.06388 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jiaju Chen [查看邮箱]
[v1]
2026 年 6 月 4 日星期四 16:56:12 UTC（2,396 KB）
[v2]
2026 年 6 月 6 日星期六 00:32:51 UTC（2,396 KB）
[v3]
2026 年 11 月 1 日星期日 03:39:31 UTC（2,500 KB）
来源：arXiv cs.CL · arxiv.org