跳到正文
Berkeley AI Research·· 2026-07-26AI 评分30

Berkeley AI Research 提出 ABBEL：用信念状态监督让 LLM 高效长程交互

Teaching LLMs to Update Beliefs for Efficient Long-Horizon Interaction

AI 导读

Berkeley AI Research 提出 ABBEL 框架，将 LLM 的交互摘要隔离为自然语言"信念状态"并加以监督，用受自编码器启发的重建式信念评分（belief grading）作为辅助 RL 任务。

正文 · AI 翻译

ABBEL overview ABBEL 与传统递归摘要的对比概览。信念取代完整交互历史，成为智能体的工作上下文，而信念评分通过监督每个信念状态的内容来提升性能。

随着任务时间跨度的增长，LLM 的上下文无法无限扩展。自摘要能够实现简洁、可解释的上下文，但代价是显著的性能损失，尤其是在高质量数据稀缺的人类辅助领域，例如协作式代码生成。我们通过 ABBEL 来解决这一问题：这是一个以自然语言信念状态的形式隔离并监督摘要信息内容的框架。

动机：递归摘要的代价

为了让语言模型能够有效协助日益复杂的任务（如软件开发），它们必须能够与我们进行数百甚至数千步的交互。对于如此长程的任务，将整个交互历史保留在上下文中是不切实际的。迄今为止所使用的启发式方法是生成摘要，有时也称为上下文压缩。例如，Cursor 最新的模型 composer 2.5 在训练期间使用压缩以提升性能（Cassano et al., 2026）。除 composer 之外，Grandcode（DeepReinforce et al., 2026）是首个在在线编程竞赛中持续击败所有人类参赛者的系统，尽管它使用了最新的高效注意力模型之一（Qwen 3.5-397B），1 仍然发现有必要采用上下文摘要。

但压缩存在一个问题。尽管在基准测试中性能差距看似很小，像 Cursor 这样的模型服务方仍持续建议用户在使用其编程助手时不要在任务中途进行压缩（Heule et al., 2026）。

要理解其中原因，请看下方在 Combination Lock（一个类似 Wordle、最多允许 16 次猜测的游戏）中，上下文摘要模型与完整上下文模型在 RL 微调过程中的性能对比。2 尽管两类模型在训练过程中都有所提升，但摘要模型始终未能弥合差距。

Average attempts to guess target word with context summary vs full context policies over training 图 1：在 RL 微调过程中，Combination Lock 上猜测目标词的平均尝试次数（越低越好）。上下文摘要策略随训练有所提升，但未能弥合与完整上下文策略之间的差距。

让模型在完成任务的同时进行自摘要会增加学习问题的复杂度。虽然这通常可以通过使用更多数据训练来解决，但在真实世界的交互场景中观察到的性能下降，很可能源于我们难以有效创建和使用人类模拟器来生成高质量训练环境（Lin et al., 2025，Tomlin et al., 2025）。因此，你越能学会在所能收集到的有限且杂乱的多轮交互轨迹上进行摘要，你的模型对下游用户就越有利。

ABBEL：通过信念瓶颈行动

ABBEL belief grading diagram 图 2：受自编码器启发的信念评分。模型将先验信念、动作和观测（bt、at、ot）编码为后验信念 bt+1，并根据从该信念中重建历史中选定信息的效果获得奖励。

为了解决学习效率低下的问题，我们将摘要生成任务分离出来。受递归贝叶斯估计的启发，我们将摘要表述为信念状态，并定期提示模型根据新信息更新这些状态。3

ABBEL overview animation frame

1 / 16

图 3：ABBEL 展开过程。来自最新观测的信念更新与仅基于当前后验信念的动作选择交替进行。

信念评分

然后我们提取并监督信念状态的内容（图 2，信念评分）。信念评分可以看作添加一个辅助 RL 任务，使用旨在捕捉何为良好信念的启发式方法作为奖励。例如，对于编码，一个启发式可以是越短越好，但越接近能够重建 git diff 也越好，因此平衡这些因素将产生良好的信念。在难以定义良好启发式的领域，我们提出一种受自编码启发的通用评分函数，它将当前语言模型 πθ 视为来自历史信息的编码器和解码器，并将信念状态视为编码。我们根据当前模型 πθ 能够多好地利用每个信念 bt+1 来重建最近的观测 ot 来对其评分：

Eq. 1: Reconstruction grading objective 公式 1：重建评分目标。这里 bt+1 是更新后的信念，ot 是最新观测，at 是刚刚采取的动作，bt 是先验信念，pI 是任务提示，πθ 是当前模型。更高的评分奖励那些保留了解码最新观测所需信息的信念。

对信念进行评分能带来什么？

CollabBench 上的协作编码

我们在人类驱动的辅助编码这一激励性领域中展示了信念评分的效用，使用了来自 Sweet-RL 的 CollabBench 环境（Zhou et al., 2025）。

CollabBench collaborative coding environment 图 4：CollabBench 协作编码环境。智能体提出澄清性问题，然后提交一个函数，根据隐藏单元测试进行评分。

我们看到，使用基于重建的通用信念评分函数，我们将与全上下文模型的性能差距缩小了约 50%，并且与训练模型在不进行信念评分（no BG）的情况下进行摘要相比，训练步数减少了 50%。训练后，ABBEL 仍然比全上下文设置使用显著更少的内存，以峰值上下文 token 长度（Peak Tokens）衡量。

模型 测试通过率 ↑ 成功率 ↑ 峰值 Token 数 × 10² ↓ 训练步数 ↓
全上下文 0.52±0.02 0.39±0.02 14.08±0.55 100
ABBEL（无 BG） 0.46±0.02 0.31±0.02 4.20±0.37 100
ABBEL-rec-BG 0.48±0.01 0.36±0.01 6.01±0.33 50

图 5：CollabBench 结果。使用重建信念评分，ABBEL-rec-BG 在减少峰值 token 使用的同时，弥补了与全上下文差距的大约一半，并且训练步数为 50 步而非 100 步。

组合锁

此外，在 CombinationLock 中，我们展示了 ABBEL 配合利用领域知识的信念评分器（通过对历史计算有用的统计量，并检查它们能否从信念状态中重建），能够实现比全上下文（FULL CTX）模型更高的学习效率。

Average Attempts to guess target word ABBEL 图 6：在 Combination Lock 上猜测目标词的平均尝试次数（越低越好）。使用领域知识信念评分，ABBEL 在此设置中接近或超过 FULL CTX；不使用信念评分，学习速度较慢。

多目标问答

在第三个环境中，多目标问答（来自 MEM1 Zhang et al., 2025，一项近期工作，在典型递归摘要的修改版本中进行了端到端优化），我们展示了将信念状态与推理分离的效用，通过表明峰值信念长度惩罚（更多细节见论文）显著减少了内存使用，且性能下降极小，这与惩罚推理长度时通常观察到的情况不同（Arora et al., 2025）。

Performance and memory usage in multi QA 图 7：多目标问答中精确匹配分数和峰值内存与目标数量的关系。在此评估中，带有峰值信念惩罚（PBP）的 ABBEL 在保持相当性能的同时，比 MEM1 和不带 PBP 的 ABBEL 使用更少内存。

管理长上下文的替代方案涉及不同的权衡，根据部署系统的需求值得考虑。上下文压缩方法生成稠密表示，虽然计算高效，但牺牲了人类可理解性（Kontonis et al., 2026，Eyuboglu et al., 2025，Gupta et al., 2025，Chevalier et al., 2023，Deng et al., 2025，Deng et al., 2025，Bulatov et al., 2022）。针对目标环境手工设计的摘要提示（Wang et al., 2025，Örwall et al., 2025，Starace et al., 2025）和剪枝策略（Jiang et al., 2024）需要专家人类知识，并且不允许智能体将记住什么作为其决策策略的一部分来学习。将长上下文处理到外部记忆存储（Packer et al., 2023，Xu et al., 2025）以供智能体或子智能体查询（Zhang et al., 2025）的方法具有互补性，因为它们可能受益于通过摘要训练更好地创建下一个上下文。我们想指出通用递归摘要领域的一些令人兴奋的工作，专注于数学（Wu et al., 2026）、通过信念生成进行推理（Zhou et al., 2025）、使用蒸馏摘要模块进行竞技编程，采用与我们通用信念评分器相似的自动编码目标（DeepReinforce et al., 2026），以及向摘要添加连续特征（Kontonis et al., 2026）。

更好的记忆接下来是什么？

通过使用显式信念状态作为多步交互的信息瓶颈，可以实现更多可能性。你可以根据动作对信念状态的影响来奖励动作以引导探索，传输显式信念状态以实现智能体之间更好的通信，甚至通过直接修改智能体决策所基于的记忆来提高用户可控性。

某些形式的信息，例如一个人的长相，仅靠文本无法很好地表示。一个持续学习的系统也必须捕获此类信息。此外，如果我们希望一个系统学会用一种全新的语言交流，或在一个全新的游戏中比世界上任何人都玩得更好，那么在对话或游戏生命周期中积累的技能必须以非常压缩的形式存储，本质上承担模型自身权重的角色。

更强大的系统可能会利用多种记忆形式的组合，其中上下文的内容可能对应工作记忆，而其他方法则用于短期和长期记忆。如何实例化这些其他形式的记忆，例如通过测试时训练、适配器记忆、连续上下文记忆，或它们的某种组合，提出了一个令人兴奋的挑战。

致谢

致谢：我们要感谢 Alane Suhr 和 Kartik Goyal 对本研究的指导，以及 Ethan Mendes、David He、Jitesh Jain 和 Nicholas Tomlin 对本文早期草稿的评论。我们要感谢 MEM1 的作者们的邮件往来，以及分享我们觉得特别有见地的私人审稿反馈。

引用

如果 abbel 对你未来的工作有所启发，请用这个引用我们！这里还有一些关于进行类似研究的建议！

@misc{lidayan2026abbellearningnaturallanguagebelief,
      title={ABBEL: Learning Natural-Language Belief States for Memory-Efficient Interaction}, 
      author={Aly Lidayan and Jakob Bjorner and Satvik Golechha and Kartik Goyal and Alane Suhr},
      year={2026},
      eprint={2512.20111},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2512.20111}, 
}

  1. 在较新的模型中，注意力计算达到 50% 计算开销时的 token 数量远大于 25K。将线性注意力替代方案与全注意力交错使用，正如 gpt-oss 和 DeepSeekv4 所做的那样，会大幅减少注意力计算的浮点运算量。例如，对于 DeepSeekv4-Pro（1.6T A49B），需要近 45 万个 token 才能达到 50% 的权衡点。Grandcode 使用 Qwen-3.5-397B-A17B，该模型在约 15 万个 token 时注意力计算达到 50% FLOPs。 ↩

  2. 从技术上讲，这种设置可以用计算效率高得多的工具解决，但它作为一个灵活的测试平台，用于研究递归摘要的特性。Bertsimas et al., 2022 表明，对于使用 javascript 游戏原始词汇表实例化的 wordle 游戏，可以通过动态规划找到精确解，但显然，将 wordle 一般化表述为在 K 个字母、L 次尝试以及某个有效词和正确词词典 D 上的猜词游戏时，确定所需最少步数是 NP 难的。 ↩

  3. 在实践中，摘要存在 O(N/K) 的开销成本。N 是动作总数。K 是触发摘要之前的动作数。这对任何摘要方法都必然成立。为便于说明，这个 gif 使用 K = 1。在我们的实验中，为了更强调摘要的弱点，我们也使用 K=1。在实践中开销很小，因为 K 可以选择接近高效硬件极限。 ↩

来源：Berkeley AI Research · bair.berkeley.edu

Agent 智能体推理能力数据与训练论文研究#论文/研究#Agent#数据/训练#推理