arXiv cs.CL· Jialin Li, Zhenhao Chen, Hanjun Luo, Hanan Salam·· 12 小时前AI 评分45
MemPABench：评测个人智能体对交互偏好的记忆能力
Why Bother Me Again? Benchmarking Personal Agent Memory for Interaction Preferences
AI 导读
研究者提出 MemPABench，一个用于个人智能体记忆在线策略评测的交互环境，包含 4 个模拟用户、14 项交互偏好、99 个会话和 4 个月内每用户 5 次事件驱动偏好变更。
正文 · AI 翻译
摘要：个人智能系统正承担日益复杂的日常任务，但重复提问、不必要的确认和不受欢迎的主动联系，可能让原本得力的助手变成交互负担。要减轻这种负担，智能体需要记住用户希望以何种方式获得协助。然而，现有的记忆基准测试侧重于事实回忆和个性化回答，很少测试智能体如何学习并依据交互偏好行事。我们提出 MemPABench，这是一个用于对个人智能体记忆进行同策略评估的交互式环境。MemPABench 提出长时程任务，要求智能体决定何时澄清、确认或自主行动。四个有依据的模拟用户在工作与个人情境中持有 14 项偏好。他们的反馈跨越四个月内的 99 次会话，每位用户有五次事件驱动的变化，用以测试记忆更新。我们评估偏好选择、实际交付的行为，以及对情境和偏好变化的敏感性。在四个 LLM 主干模型上评估四个记忆系统后，我们发现当前记忆在偏好选择上带来的增益有限。基于检索的系统（即 Mem0、MemOS、简单 RAG）并未优于无记忆，而基于文件的记忆提高了准确率，却会在相关情境之外应用偏好。我们的分析表明，当前记忆难以检索交互偏好并适应偏好变化。即使有正确的偏好可用，覆盖智能体默认的交互习惯仍然具有挑战性。该环境和数据集可在 此 https URL 获取。
| 评论： | 97 页。项目页面：此 https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.30485 [cs.AI] |
| （或 arXiv:2610.30485v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.30485 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jialin Li [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 22:08:49 UTC（15,406 KB）
来源：arXiv cs.CL · arxiv.org