arXiv cs.CL· Yuka Saito, Ikumi Numaya, Jun Suzuki, Reina Akama·· 10 小时前AI 评分31
研究：从对话文本中检测人机交互中的用户不满
Beyond Fluent Responses: Finding User Dissatisfaction in Human-AI Interactions
AI 导读
一项被 LUHME 2026 接收的研究分析了带自我报告不满标签的用户话语，检验能否从对话文本中检测用户不满。在英文交互中，使用用户话语的模型在 AUPRC 上比 17.8% 的不满标签基线最多高出 15 个百分点，说明用户话语中隐含不满线索。相对前一条用户话语的变化可提升检测效果，异常检测方法尤为有效。
正文 · AI 翻译
摘要：随着大语言模型生成越来越高质量的回复，近期关于回复评估的研究已从以回复为中心的标准（如正确性和连贯性）转向以用户为中心的标准，包括用户偏好和感知有用性。这一转变对于开发真正对现实世界用户有用的技术具有根本性的重要意义。传统回复评估量化的是回复本身的质量，而用户在真实对话中的满意度还取决于其主观偏好和对有用性的感知，这些并不一定与回复质量一致。本研究探讨此类以用户为中心的信号能否从对话文本中检测出来。具体而言，我们分析带有自我报告不满标签的用户话语，以考察文本中的用户不满能否被检测到。在英语交互中，使用用户话语的模型在 AUPRC 上超出 17.8% 的不满标签流行率最多达 15 个百分点。这些结果表明，用户话语揭示了隐含不满的线索。此外，相对于紧邻的前一条用户话语的变化可能改善不满检测，其中异常检测方法似乎尤为有效。
| 评论： | 已被 LUHME 2026 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.13894 [cs.CL] |
| （或 arXiv:2611.13894v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13894 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuka Saito [查看邮箱]
[v1]
2026年11月10日星期二 10:54:11 UTC（40,664 KB）
来源：arXiv cs.CL · arxiv.org