PersonaChatBench：用多样化模拟用户评测聊天助手
PersonaChatBench: Evaluating Chat Assistants with Diverse Simulated Users
研究者提出 PersonaChatBench 框架，将同一任务配给多个由私有 persona card 定义的模拟用户，以考察聊天助手在不同用户条件下的表现差异。该框架在六个领域评测了 20 个语言模型，分别评估原生任务结果、用户表达需求的满足程度与模拟器保真度。结果显示任务表现与需求满足度随 persona 和领域变化，强任务表现不一定带来个体需求的满足。
作者：Zheyuan Deng、Taoran Li、Jingwen Zhang、Yuante Li、Dachuan Zhao、Fulei Zhang、Yunkai Zhang、Zhikun Xu、Yajie Liao、Haichao Zhang、Haodi Hu、Cong Wang、Chen Yang、Siyang Wu、Defu Cao、Xu Hu、Haoming Li、Haixin Wang、Robert George、Weizhi Zhang、Yuchu Wang、Zhejian Peng、Yueying Li、Wanting Jiang、Shushu Liang、Zhiyuan Yu、Yifan Wang、Jintao Huang、Yijun Wang、Yuexing Hao、Xiaomin Li
摘要：对话助手应当能够帮助背景、偏好和沟通风格各异的用户。然而，以单一配合型用户为中心的评估，难以充分揭示助手为不同用户画像提供服务的可靠程度。我们提出 PersonaChatBench，一个用于评估任务能力以及对多样化用户需求响应程度的框架。PersonaChatBench 将同一底层任务与多个模拟用户配对，每个模拟用户由一张私有的画像卡引导，该画像卡规定了其独特的需求、偏好和交互行为。通过固定任务而改变用户，该框架考察助手表现如何随用户条件变化。我们在六个领域评估了 20 个语言模型，分别评估原生任务结果、对已表达画像需求的满足程度以及模拟器保真度。结果表明，任务表现和需求满足程度会因用户画像和领域而异。出色的任务表现未必能转化为对个体需求的满足，而模型在满足这些需求方面的相对优势在不同领域间并不一致。PersonaChatBench 使这些差异变得可测量，揭示出被聚合分数掩盖的差距，并帮助识别助手擅长服务哪些用户、以及在何处需要适应。它为评估跨用户一致性提供了基础，并指导开发在日常应用中更好地满足多样化需求的助手。
| 评论： | 74 页，含附录 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.42060 [cs.CL] |
| （或 arXiv:2610.42060v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.42060 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zheyuan Deng [查看邮箱]
[v1]
2026年10月30日星期五 17:23:14 UTC（8,543 KB）
来源：arXiv cs.CL · arxiv.org