UXBench：首个基于真实用户反馈的 AI 助手用户体验基准发布
UXBench: Benchmarking User Experience in AI Assistants
UXBench 是首个基于真实用户反馈信号构建的用户体验基准，包含 UX Judge、UX Eval、UX Recovery 三项任务，测试集 7,400 条，取自某主流中文 AI 助手超 70K 条交互日志，覆盖 8 个场景、83 个领域。研究对 26 个前沿语言模型进行实验，记录六项发现，表明用户反馈预测是可学习的能力。该基准已被 EMNLP 2026 主会接收，项目已完整发布。
作者：Mengze Hong、Xia Zeng、Zeyang Lei、Sheng Wang、Chen Jason Zhang、Di Jiang、Taiming Fu、Jinfeng Huang、Mengqiao Liu、Qinghe Chang、Haosheng Zou、Qiongyi Zhou、Sijun He、Simonjmdeng、Minlong Peng、Di Liang
摘要：随着 AI 助手每天服务数百万用户，在通用模型能力之外评估用户体验（UX）已变得日益重要。我们提出 \textbf{UXBench}，这是首个基于真实用户反馈信号、用于评估偏好对齐与对话生成的以用户为中心的基准。该基准由 UX Judge、UX Eval 和 UX Recovery 三个相互关联的任务组成，包含 7,400 个测试实例，均提取自某主流中文 AI 助手超过 70K 条交互日志。该数据集紧密反映真实用户分布，涵盖 8 个场景、83 个领域以及构成严峻挑战的多样化失败模式。对 26 个前沿语言模型的大量实验，为模型感知用户体验的程度以及模型能力的提升如何促进更好的对话参与度提供了新颖见解。通过分析模型行为与性能差距，我们记录了六项重要发现，证明用户反馈预测是一种可学习的能力，并揭示了影响用户体验的不同方面。UXBench 确立了新的评估格局，并呼吁更加关注针对性的 UX 优化，为构建成功 AI 助手的以用户为中心的缩放定律作出贡献。完整项目发布于 此 https URL。
| 评论： | 被 EMNLP 2026 主会议接收 |
| 主题： | 计算与语言（cs.CL）；人机交互（cs.HC） |
| 引用为： | arXiv:2606.09570 [cs.CL] |
| （或 arXiv:2606.09570v5 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.09570 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mengze Hong [查看邮箱]
[v1]
2026 年 6 月 8 日星期一 14:44:01 UTC（7,752 KB）
[v2]
2026 年 6 月 9 日星期二 13:55:26 UTC（7,751 KB）
[v3]
2026 年 7 月 14 日星期二 09:11:36 UTC（7,752 KB）
[v4]
2026 年 9 月 27 日星期日 10:01:27 UTC（7,295 KB）
[v5]
2026 年 11 月 2 日星期一 07:17:36 UTC（7,295 KB）
来源：arXiv cs.CL · arxiv.org