arXiv cs.CL· Owen Bianchi, Samer Aslan, Ryunosuke Saito·· 12 小时前AI 评分38
DiaLong：长上下文对话中的记忆召回基准测试
DiaLong: Benchmarking Reminiscence in Long-Context Dialogues
AI 导读
研究团队提出 DiaLong，一个由 100 段人工创建并经 LLM 增强的长对话数据集，配套事实召回任务——对 40 条候选事实判断真假，以评估 LLM 在长对话中主动保持和检索信息的能力。测试最新 LLM 及现有记忆增强方案后发现，模型记忆表现仍有明显不足，需进一步改进。
正文 · AI 翻译
摘要：基于 transformer 的大型语言模型（LLM）在长对话上下文中能多好地保留和回忆记忆？已知 LLM 会在其上下文中遗忘长距离的事实信息，然而该领域缺乏一个全面的基准来定量评估这些不足。我们提出了 DiaLong，一个长上下文对话数据集及配套的记忆任务，用于标准化该领域的评估。它包含 100 段由人类创建、随后由 LLM 扩充的独特对话，其长度超出了现有数据集中的长度。我们选择的记忆任务是事实回忆：将关于一段对话的 40 个候选事实分类为真或假。该任务直接探测模型主动保留和检索信息的能力，是衡量扩展对话上下文中记忆的关键指标。在测试最新的 LLM 以及针对 DiaLong 提出的记忆增强方法时，我们证明还需要做更多工作才能使 LLM 具备更好的记忆性能。通过增强记忆能力，LLM 可以在扩展对话中更好地保持连贯性、相关性和类人交互。改进这些能力将帮助 LLM 在各种对话场景中满足多样化的用户需求和期望。
| 评论： | 同等贡献。工作于 2023 年在约翰斯·霍普金斯大学开展 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.25463 [cs.CL] |
| （或 arXiv:2610.25463v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.25463 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Samer Aslan [查看电子邮件]
[v1]
2026 年 10 月 18 日星期日 18:47:42 UTC（1,058 KB）
[v2]
2026 年 10 月 20 日星期二 19:55:41 UTC（1,058 KB）
来源：arXiv cs.CL · arxiv.org