arXiv cs.CL· Mengze Hong, Zeyang Lei, Wenbo Shang, Xia Zeng, Xiying Zhao, Qi Zhu, Chen Jason Zhang, Di Jiang, Taiming Fu, Qiongyi Zhou, Qinghe Chang, Fubao Zhang, Chenxuan Ma, Minlong Peng, Jinfeng Huang, Zineng Zhou, Jindou Wu, Muge Qi, Sijun He, Xin Cui, Di Liang, Yuan Hua, Davey Chen·· 9 天前AI 评分24
UXBench Pro：多轮对话交互中的个性化用户体验基准测试
UXBench Pro: Benchmarking Personalized User Experience in Multi-Turn Dialogue Interactions
AI 导读
研究者推出 UXBench Pro，包含来自 12 个任务场景、82 个领域的 1000 个真实用户交互测试实例，每个实例配有刻画七种可解释行为特征的 FACTORS 用户画像。该基准提出双视角评估范式，结合个性化 User Reward Model（URM）与用户模拟器 Sim4Eval，并引入 URMBench 和 USimBench 两个元基准检验评估器还原真实人类偏好与行为的可靠性。
正文 · AI 翻译
作者：Mengze Hong、Zeyang Lei、Wenbo Shang、Xia Zeng、Xiying Zhao、Qi Zhu、Chen Jason Zhang、Di Jiang、Taiming Fu、Qiongyi Zhou、Qinghe Chang、Fubao Zhang、Chenxuan Ma、Minlong Peng、Jinfeng Huang、Zineng Zhou、Jindou Wu、Muge Qi、Sijun He、Xin Cui、Di Liang、Yuan Hua、Davey Chen
摘要：使用自动化计算方法评估用户体验（UX）已获得越来越多的关注，并得到了来自 UXBench 的实证支持。然而，二元偏好预测提供的洞察有限，而依赖单一且与用户无关的奖励模型则忽视了用户固有的异质性，其期望可能差异很大。在本文中，我们提出了 UXBench Pro，包含 1{,}000 个测试实例，源自 12 个任务场景和 82 个领域中的真实用户交互。每个实例都配有一个 FACTORS 用户画像，通过七个可解释的行为维度刻画用户，从而区分不同用户群体。为提供更丰富的评估洞察，我们引入了一种双视角范式，将用于第三人称判断的个性化用户奖励模型（URM）与 Sim4Eval 相结合，后者是一个用户模拟器，支持多轮交互，并在四个认知状态维度上提供第一人称评估。为评估这些基于评估器的可靠性，我们进一步引入了两个元基准 URMBench 和 USimBench，用于评估它们再现真实人类偏好和行为的忠实程度。大量实验揭示了七项关键发现，凸显了用户建模和多视角评估的重要性，为用户中心的基准测试提供了新视角，并推动了个性化模型优化。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.11638 [cs.CL] |
| （或 arXiv:2610.11638v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11638 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mengze Hong [查看邮箱]
[v1]
2026年10月8日星期四 10:15:55 UTC（11,665 KB）
来源：arXiv cs.CL · arxiv.org