arXiv cs.CL· Minghan Wang, Jinhang Zuo, Zhongxiang Dai, Zhiyong Wang, Fang Kong·· 11 小时前AI 评分38
MARS:面向会话级 LLM 助手的记忆感知路由框架
MARS: Memory-Aware Routing for Session-Level LLM Assistants
AI 导读
MARS 是一个记忆感知路由框架,用会话状态作为记忆构建与模型选择之间的共享控制接口,由 Query and Topic Manager(QTM)估计紧凑的决策相关状态,指导记忆策略与在线路由器。
正文 · AI 翻译
摘要:长期 LLM 助手必须在交互演进过程中反复决定要暴露哪些先前上下文,以及应由哪个模型来回答。现有的记忆系统和模型路由器通常分别做出这些决策,尽管记忆构建会改变证据、干扰项以及最终输入的难度。我们提出了 MARS,一个记忆感知的路由框架,它将会话状态用作记忆构建与模型选择之间的共享控制接口。查询与主题管理器(QTM)估计紧凑的、与决策相关的状态,用以指导固定的状态条件记忆策略和一个在线路由器,使每一轮都能在质量-记忆-成本权衡下获得合适的记忆视图和合适的模型。我们在 RealMem 和 MultiChallenge 上分别以 16 种系统配置对 MARS 进行了评估,涵盖长历史记忆驱动的交互以及带有结构化上下文干扰的有界会话。在 RealMem 上,MARS 保留了全上下文 GPT-4o 问答性能的 98.2%,同时仅使用其生成 API 成本的 14.5%(包括 MARS 的生成和控制器调用),并在所比较的系统中取得了最强的实测记忆召回和检索分数。在 MultiChallenge 上,MARS 总体落后于最强的静态系统,但在一个以机制为重点的子集上以更低的记录成本接近其性能。总之,这些结果支持在长历史、依赖记忆的交互中实现有利的质量-记忆-成本权衡。
| 评论: | 32 页,包括参考文献和附录 |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2610.23583 [cs.CL] |
| (或 arXiv:2610.23583v1 [cs.CL] 为此版本) | |
| https://doi.org/10.48550/arXiv.2610.23583 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Minghan Wang [查看电子邮件]
[v1]
2026 年 10 月 16 日星期五 15:04:22 UTC(184 KB)
来源:arXiv cs.CL · arxiv.org