arXiv cs.CL· Ali Zamani, Soroush Esfahanian, Erfan Shahabi, Mohammad Taher Pilehvar, Azadeh Shakery, Yadollah Yaghoobzadeh·· 3 天前AI 评分30
PerSo：在真实说服场景中考察 LLM 社会智能的多个维度
PerSo: Investigating Facets of LLMs' Social Intelligence in Real-World Persuasion Scenarios
AI 导读
研究者提出 PerSo 基准，基于 Reddit ChangeMyView 社区的真实说服对话，用 LLM-in-the-loop 流程构建评估任务并经人工标注验证，同时考察 LLM 的认知智能与行为智能。对多个 LLM 的评测显示，性能总体随模型规模提升但各维度表现不一，最强 LLM 在行为任务上略超最佳人类表现，而最佳人类参与者在认知任务上仍保持领先。
正文 · AI 翻译
摘要：理解大语言模型（LLM）的社会智能，对于涉及人机交互和多智能体环境的应用日益重要。社会智能包含两个方面：认知智能，即推断他人心理状态的能力；行为智能，即基于这些推断选择恰当的社会行为以实现社会目标的能力。说服为这两方面同时发挥作用提供了一个天然的测试平台，但此前的基准通常使用合成场景对它们进行孤立评估。我们提出了 PerSo，一个基于 Reddit 的 ChangeMyView 社区真实说服对话来评估这两个方面的基准，采用 LLM-in-the-loop 流程构建评估任务，并通过人工标注进行验证。我们对多种 LLM 的评估表明，性能总体上随模型规模提升，但在不同维度上有所差异。最强的 LLM 在行为任务上略微超过了观察到的最佳人类表现，而在认知任务上，最佳人类参与者仍然领先。
| 评论： | 25 页，17 幅图，10 张表。Ali Zamani 和 Soroush Esfahanian 贡献相同 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；社会与信息网络（cs.SI） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2610.20548 [cs.CL] |
| （或 arXiv:2610.20548v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20548 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Erfan Shahabi [查看电子邮件]
[v1]
2026 年 10 月 14 日星期三 17:39:35 UTC（5,138 KB）
来源：arXiv cs.CL · arxiv.org