ZenGen：面向 LLM 的社会心智框架，含 SoMBench 基准与 Actio 推理架构
ZenGen: Social Mind for LLMs
研究团队提出 ZenGen 框架，用于测量、内化并落地大语言模型的社会智能。配套基准 SoMBench 覆盖 3 个一级维度、17 个二级维度和 71 种任务范式，共 284 个场景、3,481 个专家核验实例；20 个代表性 LLM 中最佳模型总体准确率仅 72.08%，17 个二级维度无一达到 90%。
作者：ZenGen Team、Ao Xiang、Bi Jingping、Chen Jiahui、Chen Lehan、Chen Yilin、Cheng Xueqi、Fan Yixing、Gan Kairong、Gao Haowen、Gao Jinhua、Gao Shuxuan、Gong Chang、Guo Jiafeng、Guo Ruijie、Han Zhouyu、He Guangfu、He Yichun、Jiang Shuo、Jing Shaoling、Jing Ya、Lei Chenhao、Lei Yan、Li Anqi、Li Chengao、Li Haoyu、Li Shitian、Liang Xinjian、Liu Zhaoge、Lyu Xingyu、Nie Zhuwei、Pang Liang、Quan Zeping、Shan Shiguang、Shen Huawei、Tang Xinran、Tian Feng、Wang Qian、Wang Ruiping、Wang Xiaohong、Xia Zaiyu、Xiao Yi、Xu Jiayuan、Xu Kehan、Xu Qianqian、Xu Tianyu、Xu Yongjun、Xue Yuanhai、Yang Haoming、Yang Jun、Yao Di、Yu Xiaoming、Zhang Futong、Zhang Jie、Zhang Shixuan、Zhang Yuxuan、Zhao Xinyu、Zhao Zhuoran、Zhong Yunfei、Zhu Shengyu
摘要：随着大语言模型从孤立的任务求解走向在人类环境中的长期服务，它们需要社会智能：即推断心理状态、追踪社会关系、对规范进行推理，并在情境下调整行为的能力。本报告提出 ZenGen，一个用于测量、内化和落地社会智能的集成框架。在测量方面，我们提出 SoMBench，一个以心理学为基础的基准，涵盖 3 个一级维度、17 个二级维度和 71 个任务范式。它在 284 个共享场景和 3,481 个经专家验证的实例上控制问题格式、叙事视角和上下文长度。对 20 个代表性大语言模型的评估揭示了巨大的提升空间：最佳模型仅达到 72.08% 的总体准确率，且 17 个二级维度中没有一个达到 90% 的接近上限区间。在内化方面，我们开发了 ZenGen，一种诊断驱动的训练方案，结合了监督微调、同策略蒸馏和基于评分标准的强化学习。在五个社会认知基准上，ZenGen 持续优于其基础模型，其中 ZenGen-27B-Stage2 取得最佳平均分，ZenGen-32B-Stage2 与 DeepSeek-V4-Pro 相比仍具竞争力。在部署时落地方面，我们构建了 Actio，一种由 harness 控制的推理架构，将四种类型化支持路由到推理中：用于程序性指导的 PRISM、用于运行时心理状态表示的 Starling、用于可复用经验的 SAGE，以及用于外部社会和规范知识的门控 RAG。在五个基础模型和三个基准上，完整 harness 改善了 15 个模型-基准对中的 14 个，并在 8 个中表现最佳或并列最佳，证明了类型化运行时支持的有效性。总之，这些结果表明，具有社会智能的大语言模型需要在评估、参数化内化和部署时落地方面协同推进。
| 主题： | 计算与语言 (cs.CL) |
| 引用为： | arXiv:2607.23740 [cs.CL] |
| （或 arXiv:2607.23740v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.23740 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chengao Li [查看电子邮件]
[v1]
2026年7月26日 星期日 16:25:45 UTC (8,957 KB)
[v2]
2026年8月21日 星期五 07:25:22 UTC (8,911 KB)
[v3]
2026年10月9日 星期五 03:55:41 UTC (8,913 KB)
来源：arXiv cs.CL · arxiv.org