跳到正文
arXiv cs.AI· Shuyue Stella Li, Bhargavi Paranjape, Kerem Oktar, Zhongyao Ma, Gelin Zhou, Lin Guan, Na Zhang, Sem Park, Lin Chen, Diyi Yang, Yulia Tsvetkov, Asli Celikyilmaz·· 10 小时前AI 评分52

HorizonBench 发布:评测模型能否跟上用户偏好的长期变化

HorizonBench: Long-Horizon Personalization with Evolving Preferences

AI 导读

研究者提出 HorizonBench 及其数据生成器,模拟用户偏好随生活事件变化并生成六个月的对话,用于评测模型能否更新对用户的认知。基准包含 360 名用户的 4,245 个问题,偏好变化后旧偏好会作为干扰选项出现;评测的 25 个前沿模型都更倾向于选择过时偏好,最佳准确率为 52.8%。

正文 · AI 翻译

作者:Shuyue Stella Li、Bhargavi Paranjape、Kerem Oktar、Zhongyao Ma、Gelin Zhou、Lin Guan、Na Zhang、Sem Park、Lin Chen、Diyi Yang、Yulia Tsvetkov、Asli Celikyilmaz

查看 PDF HTML(实验性)

摘要:个人助理如今会与同一用户交谈数月,而用户的偏好会随着生活变化而改变;一个继续迎合用户已经不再适用的偏好的助理,就无法服务好该用户。真实对话不会记录偏好何时改变或为何改变,而现有基准要么将偏好固定不变,要么让用户明确说明变化,因此它们无法判断模型是忘记了用户说过的话,还是未能更新对用户的认知。我们提出 HorizonBench 及其数据生成器,它采样用户偏好的变化方式,并据此生成六个月的对话;每次变化都伴随一个生活事件,用户会提及该事件但不会说明新的偏好。我们收集并发布了一个人类纵向偏好数据集,包含 160 人在 13 周内的 83,024 条评分,用以确定生活事件改变偏好的频率和幅度。HorizonBench 包含来自 360 名用户的 4,245 个问题,当偏好已发生变化时,其较早的取值会作为答案选项之一。我们评估的全部 25 个前沿模型选择过时偏好的频率都高于均匀分布错误所能预测的水平,其中最佳模型达到 52.8% 的准确率。两个最新模型在仅提供相关对话时,得分并不高于提供完整历史时的得分,然而增加一句说明变化的话可使它们的准确率提高 11 至 22 个百分点,而检索和记忆方法无法恢复损失的准确率。因此,记住用户说过的话与了解用户现在的偏好是两种不同的能力,HorizonBench、其生成器以及人类数据集为这两方面的研究提供了支持。
Comments: 26 页,6 幅图,19 张表
Subjects: 计算与语言(cs.CL);人工智能(cs.AI)
引用为: arXiv:2604.17283 [cs.CL]
  (或 arXiv:2604.17283v2 [cs.CL] 查看此版本)
  https://doi.org/10.48550/arXiv.2604.17283

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Shuyue Stella Li [查看邮箱]
[v1] 2026 年 4 月 19 日周日 06:55:10 UTC(804 KB)
[v2] 2026 年 11 月 17 日周二 22:59:02 UTC(735 KB)

来源:arXiv cs.AI · arxiv.org