arXiv cs.AI· Junming Zhang, Rubin Wei, Xu Cheng, Hao Sun, Jiarui Wang, Ruoxi Cheng, Xiquan Wang, Peisong Wu, Mingsong Chen, Zhouhan Lin·· 11 小时前AI 评分31
HABIT-Bench：评估 Agent 记忆系统能否从长期弱证据中归纳用户习惯
HABIT-Bench: Evaluating Habit Induction from Longitudinal Weak Evidence in Agent Memory
AI 导读
HABIT-Bench 用于评估 Agent 记忆系统从长期弱证据中推断用户习惯并正确应用的能力，最佳记忆方法在食物、金融、软件、旅行四个领域的四选一任务上仅达 33.61% macro 准确率。
正文 · AI 翻译
摘要：在与大语言模型（LLM）智能体的长期交互中，用户通过其选择和行为展现出习惯。这些习惯蕴含着智能体必须跨对话推断的隐式用户信息。然而，单次观察可能仅提供关于某个习惯或其适用场景的部分证据。仅保留过往交互并不能确保智能体能够推断习惯并恰当应用。我们提出 HABIT-Bench，用于评估智能体记忆系统从弱证据中推断习惯并将其应用于后续请求的能力。我们基于任务导向对话数据和受控习惯图构建合成用户历史。这些历史涵盖食品、金融、软件和旅行领域的数百个会话。四选一任务评估智能体推断用户习惯并恰当应用的能力，其中包括临时例外、习惯变化以及用户尚未接受的建议。抽样任务经过独立人工审核。我们使用 Qwen3-235B-A22B 和 GLM-5.3-Flash 评估了八种记忆方法。表现最佳的记忆方法在四个领域上的宏平均准确率为 33.61\%。即使直接提供标注证据，性能仍然有限。这些结果揭示了在获取过往交互与推断并恰当使用用户习惯的能力之间持续存在的差距。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.24520 [cs.AI] |
| （或 arXiv:2610.24520v2 [cs.AI] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.24520 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Junming Zhang [查看邮箱]
[v1]
2026年10月17日星期六 07:30:09 UTC（3,573 KB）
[v2]
2026年10月20日星期二 03:24:12 UTC（3,573 KB）
来源：arXiv cs.AI · arxiv.org