arXiv cs.CL· Yijiang River Dong, Zexue He, Cheng Yu, Tiancheng Hu, Michael J Ryan, Jan Batzner, Zheng Hui, Shaolong Wu, Orestis Papakyriakopoulos, Alex Pentland, Nigel Collier, Jiaxin Pei·· 12 小时前AI 评分47
Memory-Aware Reward Modeling：让 LLM 记忆使用对齐人类偏好
Memory-Aware Reward Modeling: Learning Human Preferences for LLM Memory Use
AI 导读
研究者收集 87 名参与者基于自身 ChatGPT 查询与个人记忆的约 1,000 组成对判断，发现带记忆的回复并不总被偏好，自动评估器与用户一致性有限且明显更偏爱记忆条件回复。为此提出记忆感知奖励模型，偏好预测准确率达 72.8%，超过现有基线。
正文 · AI 翻译
作者：Yijiang River Dong、Zexue He、Cheng Yu、Tiancheng Hu、Michael J Ryan、Jan Batzner、Zheng Hui、Shaolong Wu、Orestis Papakyriakopoulos、Alex Pentland、Nigel Collier、Jiaxin Pei
摘要：记忆使语言模型助手能够在多次会话之间保持连续性并生成个性化回复，但更了解用户并不一定能产生用户更偏好的回复。现有评估在衡量记忆能力时，并未直接确定记忆的使用是否对用户有益。为研究这一差距，我们使用 87 名参与者自己的 ChatGPT 查询和个人记忆，收集了约 1,000 条成对判断。我们发现，带有记忆条件的回复并不总是比不使用记忆生成的回复更受偏好，在某些情况下，用户强烈偏好后者。自动评估器与用户的一致性也有限，并且比用户更频繁地偏好带有记忆条件的回复。受这些差距的启发，我们引入了一个记忆感知奖励模型，它从用户判断中学习，达到 72.8\% 的偏好预测准确率，并优于现有基线。我们的发现推动了评估和优化目标，使记忆的使用与信息被使用者的偏好保持一致。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.31272 [cs.CL] |
| （或 arXiv:2610.31272v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.31272 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yijiang Dong [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 13:43:33 UTC（440 KB）
来源：arXiv cs.CL · arxiv.org