arXiv cs.AI· Hayder Tirmazi·· 13 小时前AI 评分32
为世界模型做上下文压缩：一项新基准与智能体框架研究
Context Compaction for World Models
AI 导读
研究者为世界模型构建了上下文检索基准，每回合生成全新世界以避免模型靠训练数据回忆房间，并将上下文检索与基于邻近帧的猜测区分开。配套的智能体框架实现世界模型的上下文压缩，使模型无需重训练即可在超出上下文窗口最多 4 倍的范围内检索房间。但采用滑动窗口注意力的世界模型在"做梦"时丢失大部分上下文检索能力，因此对做梦的世界智能体而言，用上下文压缩扩展世界模型覆盖范围比在模型层改用滑动窗口注意力更有利。
正文 · AI 翻译
摘要：世界模型让观察者能够探索并与生成的世界交互。近期工作表明，当观察者重新访问某个区域时，当前模型往往无法一致地重新生成该区域。我们将此视为上下文检索问题。LLM 智能体在其技术栈的两个层面管理上下文检索。在模型层面，KV 缓存设计决定了内存中能容纳多少上下文。在智能体框架层面，Claude Code 等框架负责挑选发送给 LLM 的上下文。此前关于世界模型的工作大多只关注模型层面。在本文中，我们做出三项贡献。第一，我们构建了一个基准来度量世界模型的上下文检索。它为每个回合生成新的世界，防止模型利用训练数据回忆房间。它还将上下文检索与基于邻近帧的猜测区分开来。第二，我们构建了一个为世界模型执行上下文压缩的智能体框架，据我们所知，此前尚无工作研究过这一点。第三，我们使用该基准研究了四种世界模型设计。上下文压缩使我们的世界模型无需重新训练即可检索超出其上下文窗口最多 4 倍的房间。然而，采用滑动窗口注意力的世界模型在 dreaming 时会丢失大部分上下文检索能力。因此，对于 dreaming 世界智能体而言，使用上下文压缩扩展其世界模型的覆盖范围，比在模型层面改用滑动窗口注意力更有益。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.38980 [cs.AI] |
| （或本版本的 arXiv:2610.38980v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.38980 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hayder Tirmazi [查看电子邮件]
[v1]
2026年10月28日星期三 22:04:30 UTC（312 KB）
来源：arXiv cs.AI · arxiv.org