跳到正文
The Decoder· Matthias Bastian·· 5 天前AI 评分66

微软研究:清空对话历史可让 AI 智能体找到更好方案

Clearing chat history helps AI agents find better solutions

AI 导读

微软研究院一项研究提出 Fork-and-Flush 方法,让长时运行的 Autoresearch 智能体在保留工作区文件的同时清空对话上下文并分叉出 K 条并行分支,从而跳出反复收敛的“idea basin”。

正文 · AI 翻译

Matthias Bastian

2026年10月12日

Image description

由 THE DECODER 提示的 Nano Banana Pro

微软研究院的一项研究发现,长时间运行的 AI 研究智能体尽管获得更多算力,仍可能陷入停滞。累积的对话上下文会限制其搜索,使其专注于相似的解决方案,而非探索更好的方法。

微软研究人员研究了他们所称的“自动研究智能体”(Autoresearch agents),即反复提出解决方案、对其进行评估并根据反馈进行改进的 AI 系统。同一智能体在同一任务上的八次独立运行,其表现停滞在显著不同的水平,最终得分从 68.3 到 100.0 不等。论文指出,即使大幅增加算力,这些差距依然存在。

智能体陷入“想法盆地”

研究人员绘制了所有运行中的解决方案,将其置于一张二维地图上,使相似的解决方案彼此靠近,然后进行比较。单次运行产生的解决方案几乎总是停留在该地图的一小块区域内。作者将这些区域称为“想法盆地”。

智能体将剩余算力预算的很大一部分用于在产出较低的区域内改进解决方案,而不是去寻找其他运行所发现的更好方法。即使智能体定期压缩其对话历史,这种模式依然存在。

清空聊天历史让智能体探索新方法

所提出的方法“Fork-and-Flush”结合了两种机制。在“分叉”(forking)中,智能体分裂为 K 个并行分支,每个分支继承之前的工作区和所有生成的文件。在“清空”(flushing)中,每个分支丢失其全部聊天上下文,但保留工作区,从而能够开启全新对话并在先前工作的基础上继续。

左侧,单次运行(灰色虚线)不断在同一想法盆地内改进解决方案。Fork-and-Flush 以全新的聊天上下文启动并行分支,保留最佳分支,丢弃其余分支。右侧,拥有全新上下文的分支进入另一个想法盆地,并取得更高分数。| 图片:Cai, Ziakas et al. (2026)

保留父进程聊天上下文的分支往往会回到同一想法盆地,因为先前的推理会引导其后续步骤。全新上下文则恢复了搜索的多样性。对话历史丢失了,但代码、文件和保存的结果仍留在工作区中。

在相同算力预算下,归一化平均得分提高 66%

研究人员在 13 项长时间运行的任务上测试了 Fork-and-Flush,包括多联骨牌拼装、作业车间调度和密码分析。这些任务还包括压缩 CIFAR 分类器和优化 VLIW 内核。单次运行持续数小时到超过 100 小时不等。智能体通过 GitHub Copilot CLI 使用了 GPT-5.6-terra 和 GPT-5.5。

在相同算力预算下,Fork-and-Flush 取得了 0.78 的最小-最大归一化平均得分,而单次运行为 0.47,四次取最佳为 0.54。论文报告相对提升分别为 66.0% 和 44.4%。该方法在 13 项任务中的 12 项上取得了最高平均得分。

Fork-and-Flush 还产生了更一致的结果,归一化标准差从单次运行的 0.26 降至 0.16。仅清空聊天上下文而不进行分支,结果就提升了 22%。

评估 方法 归一化平均得分 归一化标准差 相对于各自单次运行基线的相对提升
13 项任务 单次运行 0.47 0.26 基线
13 项任务 Best-of-4 0.54 0.21 约 +14.9%
13 个任务 Fork-and-Flush 0.78 0.16 +66.0%
11 个任务 单次运行 0.45 — 基线
11 个任务 仅 Flush 0.55 — 约 +22%

更强的模型可能仍需要上下文重置

研究人员还测试了能力更强的模型是否能避免陷入想法盆地,他们使用了 MAX-3-SAT 问题,涵盖三种模型规模:Qwen3.5-4B、9B 和 27B。各次运行之间的方差呈倒 U 形曲线,在处于模型能力边缘的任务上达到峰值,大约介于随机猜测表现和参考求解器表现之间。

在处于模型能力边缘的任务上,结果差异最大,有些运行成功,另一些则远远达不到。模型在非常简单的任务上几乎总能成功,在非常困难的任务上则会失败。这一模式在测试的全部三种模型规模上都成立。 | 图片:Cai, Ziakas et al. (2026)

作者认为,开放研究问题按定义就处于模型能力的极限。他们预计,随着模型进步,Fork-and-Flush 所利用的这种差异仍会持续存在,只是边界会向更难的问题移动。结果表明,即使对于前沿研究智能体,定期重置上下文也可能仍然有用。

没有炒作的 AI 新闻——由人类精选

订阅 THE DECODER,享受无广告阅读、每周 AI 新闻简报、我们每年六期的独家“AI Radar”前沿报告、完整档案访问权限,以及评论区访问权限。

立即订阅

  • 完整访问 THE DECODER 上的每一篇文章
  • 无广告
  • 加入评论和社区讨论
  • 每周通过邮件发送 AI 新闻回顾
  • 每年 6 次:“AI Radar”——深入探讨最重要的 AI 话题
  • 每日 AI 新闻,始终紧跟最新动态
  • 我们完整的十年档案
  • 由一支拥有 10 年以上 AI 经验的团队报道

来源:The Decoder · the-decoder.com