跳到正文
arXiv cs.AI· Vedant Navale·· 10 小时前AI 评分34

MoE-Context:让模型只看到它需要的内容

MoE-Context: Show the Model Only What It Needs

AI 导读

MoE-Context 将上下文分块,每步前用一次快速的是/否判断决定需要哪些块,其余块保留为一行摘要且不删除,并在单一 KV cache 上以掩码方式隐藏。在笔记本上用 Qwen3-1.7B 跑合成查找任务,只显示所需块把准确率从 120 题中的 93 提升到 119,掩码块与删除块效果相当。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:AI 智能体在每一步都会读取其全部历史记录。人类并非如此工作:我们只保留当下所需的内容,其余部分则作为粗略笔记留存,以便日后回忆。MoE-Context 将这一机制应用于语言模型。上下文被划分为多个块。在每一步之前,一次快速的“是/否”判断决定该步骤需要哪些块;其余块则作为单行笔记保留,可随时召回,且不会删除任何内容。在我们构建的版本中,由一个模型做出该判断并随后作答,整个过程基于单一的键值缓存,其中隐藏块被掩码而非移除。在一台搭载 Qwen3-1.7B 的笔记本电脑上,使用合成查找任务,仅显示所需块可将准确率从 120 题中的 93 题提升至 119 题,且被掩码的块与已删除的块同样处于隐藏状态。模型自身的挑选是薄弱环节。将一个监督线性探针写入空闲输出行,可将其准确率从 120 题中的 80 题提升至 110 题,但简单的关键词搜索在该任务上表现完美,且该探针无法迁移到第二个任务。我们公开报告这些结果,以及块切换所支持的两种低成本使用模式:撤销失败的尝试,以及在不新建上下文的情况下运行子智能体。
评论: 10 页,10 幅图
主题: 人工智能(cs.AI);计算与语言(cs.CL);机器学习(cs.LG)
引用为: arXiv:2611.24379 [cs.AI]
  (或 arXiv:2611.24379v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24379

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Vedant Navale [查看邮箱]
[v1] 2026 年 11 月 18 日星期三 13:08:14 UTC(68 KB)

来源:arXiv cs.AI · arxiv.org