arXiv cs.AI· Zongqi Wang, Rui Wang, Yuchuan Wu, Hua Yang, Bingxue Qiu, Tianle Gu, Bing Zhao, Yujiu Yang, Jieping Ye, Yongbin Li·· 13 小时前AI 评分38
SocialArena：评估大语言模型的社会智能
SocialArena: Evaluating Social Intelligence in Large Language Models
AI 导读
SocialArena 是一个系统定义并评估大语言模型社会智能的基准，从角色扮演能力、心理状态推理和行为推理三个维度构建统一的三层框架，并采用带显式角色思考的角色扮演对话范式进行评测。该工作还提出 U-TRIMF 框架合成覆盖广泛的社会情境，并投入 $132.4K 招募训练标注员，采用人工标注的竞技场式协议收集偏好标签与自然语言评语。
正文 · AI 翻译
摘要：我们推出 SocialArena，这是一个用于系统定义和评估大语言模型（LLM）社交智能的基准。尽管 LLM 越来越多地被部署在心理健康咨询、陪伴聊天机器人和教育辅导等社交互动应用中，但现有评估仍然零散，聚焦于孤立能力或单一场景，且评估可靠性在很大程度上未经验证。本工作针对这些局限做出三项主要贡献。(1) 我们首先提出一个统一的三层框架，从三个能力维度定义社交智能：角色扮演能力、心理状态推理和行为推理。为将这一定义付诸实践，我们设计了一种带有显式角色思考的角色扮演对话范式用于评估，从而能够以贴近真实人际互动的方式同时评估这些能力。(2) 为确保社交场景的多样性，从而避免评估结论局限于特定场景，我们引入 U-TRIMF 框架，指导我们合成覆盖广泛的社交情境。(3) 为获得可靠的评估，我们投入 132.4K 美元招募并培训人工标注员，并采用人工标注的竞技场式协议，由标注员比较模型回复并提供偏好标签及自然语言评论。我们希望 SocialArena 能为未来 LLM 的改进提供有价值的见解和指导。
| 评论： | EMNLP 2026 oral |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.39247 [cs.AI] |
| （或 arXiv:2610.39247v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.39247 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zongqi Wang [查看邮箱]
[v1]
2026年10月29日 星期四 03:00:43 UTC（961 KB）
来源：arXiv cs.AI · arxiv.org