arXiv cs.CL· Tian Lan, Han Zhang, Shanshan Wang, Yahan Yu, Jiang Li, Yugo Murawaki·· 2 天前AI 评分24
APRiL：面向大语言模型中文社交意识的开源基准
APRiL: An Open-ended Benchmark for Chinese Social Awareness in Large Language Models
AI 导读
研究者推出 APRiL，一个面向中文社交意识的开源基准，包含 2,196 个社交意识评估实例，覆盖六类场景与社交场景分析、社交意识回应两项任务。在来自六个模型家族的 12 个模型上测试发现，模型普遍存在"理解到回应"的落差，高质量场景分析能提升回应质量，而弱分析可能拉低回应质量。数据与代码已公开。
正文 · AI 翻译
摘要：大语言模型越来越多地应用于社交互动中，而恰当的回应需要识别隐含线索、推断心理状态、识别冲突并考虑潜在后果。然而，现有基准往往聚焦于特定的社交能力、受限的任务形式或特定的互动场景，对多样情境下社交意识的覆盖有限。为弥补这一空白，我们提出 APRiL，一个面向中文社交意识的开放式基准，并配有实例特定的评分标准。APRiL 包含 2,196 个社交意识评估实例，涵盖六个类别和两项互补任务：社交情境分析评估模型对社交线索、心理状态和冲突结构的理解，而社交意识回应则评估模型能否将这种理解转化为恰当、自然的回应。对来自六个模型家族的 12 个模型进行的实验揭示了一致的“理解—回应”差距。更高质量的情境分析能改善回应，而薄弱分析可能降低回应质量。APRiL 为推进中文语境下具备社交意识的语言模型提供了系统性资源。我们的数据和代码可在 此 https URL 获取。
| 评论： | 26 页，9 幅图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.20785 [cs.CL] |
| （或 arXiv:2610.20785v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20785 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tian Lan [查看邮箱]
[v1]
2026 年 10 月 14 日星期三 18:28:42 UTC（1,408 KB）
来源：arXiv cs.CL · arxiv.org