arXiv cs.CL· Wenjie Zhang, Zhichao Shi, Xuhui Jiang, Xiaojun Wu, Cehao Yang, Chengjin Xu, Xiaoning Song·· 12 小时前AI 评分31
ColaBench：评估个人智能体记忆引导知识获取的新基准
ColaBench: Evaluating Memory-Guided Knowledge Acquisition in Personal Agents
AI 导读
ColaBench 是面向个人智能体的合成基准，覆盖健康与日常生活场景，含 10 个 Profile、349 个任务和 13,033 篇文档的知识库，通过 Evidence Graph 关联个人条件与公开交互中的信息披露。
正文 · AI 翻译
摘要：个人智能体需要借助长期交互历史，检索并应用适合用户当前请求的外部知识。即使答案基于相关文档，若忽视用户的具体情况，也可能并不适用。这带来两个相互关联的挑战：利用历史条件识别新请求所需的知识，以及将该知识应用于用户的具体情境。现有基准推进了记忆召回、个性化检索和记忆引导行动，但对这两个挑战的联合评估仍探索不足。我们提出 ColaBench，这是一个面向健康与日常生活领域的合成基准，包含 10 个 Profile 下的 349 个任务，以及一个含 13,033 篇文档的知识库。其 Evidence Graph 将个人状况与其在公开交互会话中的披露相连接，记录先前的文档接触情况，并将答案要求与个人证据及新获取的文档证据相关联。我们还提出 MemKB，它利用状态摘要来指导查询和规则应用，并利用记忆—文档链接检索与用户历史相关的知识。MemKB 达到 86.25% 的准确率，每个任务平均 4.07 轮交互。任务级分析发现，在整合多个历史 Fact 信息的任务上收益更大；错误分析进一步指出，缺乏支持的个人假设和规则误用是使用检索证据的障碍。ColaBench 提供可追溯的任务和评估框架，用于研究记忆如何引导知识获取与规则应用。
| 评论： | 12 页，4 幅图 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.30989 [cs.AI] |
| （或 arXiv:2610.30989v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30989 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wenjie Zhang [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 09:34:52 UTC（206 KB）
来源：arXiv cs.CL · arxiv.org