让 LLM 智能体学会遗忘:扩展自动研究发现需定期丢弃搜索状态
LLM 智能体做自动研究时,无论单智能体长迭代、多智能体并行还是并行加通信,都会因历史累积而陷入停滞,编辑越来越少、越来越小。论文提出"遗忘"机制:定期丢弃所有智能体的会话与候选历史,从当前最优候选重启,在启发式编程、内核优化和模型训练四类任务上比并行智能体提升最高 15%,比单智能体提升最高 39%。
LLM 智能体做自动研究时,无论单智能体长迭代、多智能体并行还是并行加通信,都会因历史累积而陷入停滞,编辑越来越少、越来越小。论文提出"遗忘"机制:定期丢弃所有智能体的会话与候选历史,从当前最优候选重启,在启发式编程、内核优化和模型训练四类任务上比并行智能体提升最高 15%,比单智能体提升最高 39%。
研究者提出 Medical Harness Protocol 与 MedHarnessBench,用七个医疗流程维度独立评估智能体执行,覆盖 FHIR/EHR 操作、医疗管理接口和多模态临床工具共 342 个可执行任务。
SwarmRSI 框架通过演化科学智能体集群实现递归自我改进,在 OpenProblems、NatureBench 和 MLE-Bench Lite 上取得 SOTA 表现。
TreeFlex 是一个让智能体自身策略决定搜索位置的框架:模型以 Reflection 和 Execution 两种角色,在 harness 维护的搜索树上选择加深、分支、回访或停止,并用树感知的 GRPO 联合训练导航、任务动作、检查点与方案评审。
SpecForge 是一个多前沿树搜索框架,让冻结权重的编码智能体通过迭代优化行为规范实现递归自我改进,在 DevEval+ 上以 Claude-4.5-Sonnet 达到 94.9% 解决率,较最强基线平均提升 5.7 个百分点。
FARL 是一个全自动强化学习框架,通过联合搜索观测与奖励程序、学习算法和训练配置来自动化 RL 设计,并利用训练统计与行为诊断失败、提出并验证改进。在 Adroit Hand Relocate 任务上,FARL 以每策略 5M 训练步达到 97.1% 成功率,而 Eureka 和 LiMEN 为 0%、原生 PPO 为 1.0%。该框架在导航、运动和操作任务上均优于所评估的自动化基线。
研究比较了三种文本接口设计对音视频问答提示词优化的影响:单一 OmniLLM 直接推理、captioner-reasoner 系统,以及由主智能体协调子智能体 OmniLLM 的智能体架构。基于 Qwen3-Omni 和 Gemini 的实验显示,直接提示词优化带来依赖模型的增益,而 captioner-reasoner 与智能体系统虽暴露更可解释的优化接口,却更难优化。
MemPursuit 是一种免训练机制,将长期记忆的读取视为查询条件下的证据组合,用稀疏凸查询重建的残差作为表示空间中"当前记忆集缺失什么"的代理,无需语言模型或 cross-encoder 逐对打分。在 LoCoMo 固定预算实验中,Top-10 端到端准确率提升 7.2 个百分点、Top-20 提升 5.5 个百分点,重排序延迟中位数较全批量 BGE-v2-m3 提速 32.9 倍。
MolHop 是一个跨骨架分子发现智能体框架,将约 160 万个商业分子骨架组织成由粗到细的层级动作空间,通过骨架导航与分子编辑进行长程搜索。
研究团队提出 DressAgent,一个基于视觉智能体的分层系统,可从单张图像重建可仿真的任意层数 3D 服装缝纫纸样。该方法基于 GarmentCode 构建了首个超 15K 套服装的多层缝纫纸样数据集,通过图层规划与 Tailor、Critic、Orchestrator 智能体闭环细化,大幅超越前馈方法,并在远少于可微优化的时间内达到或超过其效果。
研究者提出 Agent-Canary-Mas,一个端到端评估系统,追踪 LLM 智能体在长周期多智能体任务中的协议风险,覆盖 A2A、ANP、BCS 的 5 类风险、13 个子类,含 5 个业务领域的 975 对匹配的恶意—良性任务。
针对语言智能体强化学习中奖励稀疏、缺乏对动作后果显式监督的问题,研究者提出 DGS-WM(决策引导选择性世界建模),通过决策引导观测选择筛选有决策价值的观测单元作为世界建模目标,并用置信度自适应加权调整监督强度,与 RL 损失在同一策略模型上联合优化。在单跳/多跳问答和交互式网页任务等多个 benchmark 上,DGS-WM 在不同模型规模和 RL 算法下均取得一致提升,优于全观测世界建模方法。
研究揭示持续技能内化存在两阶段遗忘:先失去从原始请求调用旧技能的能力(技能寻址遗忘),仅提供正确技能名可恢复;进一步训练后连条件执行也退化(技能执行遗忘)。
SkillFusion 是一个离线编译器,可将多个独立编写的技能调和为可复用的合并技能,通过类型-作用域门控、分类器与对抗验证器显式处理技能间的冲突与冗余。在三个智能体基准和两个迁移基准、三种执行模型上,它的平均 Success 均高于所有非 oracle 方法;在最大指令配置下,Success 超过未处理多技能加载的 2.5 倍。代码将在评审结束后开源。
研究者将智能体轨迹重新定义为动作与环境观测共享嵌入空间中的路径,发现同一任务的成功与失败 rollout 在该空间中可分离,简单判别器在三个智能体基准和三个策略模型上预测结果 AUROC 最高达 0.95。
研究者提出 τ-Emotion-Bench,一个覆盖十个领域、在保留任务目标前提下用情绪条件化用户交互评测工具调用智能体的基准,并配套可扩展的数据生成管线 Tracer。实验显示前沿智能体在情绪变化下仍不可靠,平均任务成功率与稳定完成率之间存在明显差距;Tracer 生成的监督信号可持续提升不同规模 Qwen3 模型,并迁移到 τ-Bench 与 τ-Trait。
一项实证研究用 1.7B、8B、27B 的 Qwen 模型在确定性工具工作流中对比不同状态表示下的监督学习与迁移表现。H16 交叉实验中,紧凑视图训练的 1.7B 适配器在紧凑视图下完成 50/50 留出任务,全状态视图下为 0/50,8B 适配器对也呈现类似不对称。27B ScienceWorld 研究中紧凑状态训练在两种视图下均提升局部准确率,表明迁移模式依赖任务与观测构造。
ActICL 通过两阶段后训练让 MLLM 智能体以工具增强推理自主获取 ICL 上下文,在七个基准和三个 MLLM 上平均性能比标准相似度检索提升 11.6 个百分点,比最强先前基线高 4.4 个百分点。其获取的上下文也可供前沿模型使用,GPT-5.6-Sol 进行 4-shot ICL 时性能比标准检索提升 3.5 个百分点。
一篇 arXiv 综述提出双轴分析框架,梳理多模态智能体记忆:轴一关注信息如何形成与表示(模态嵌入、文本与结构化记录、潜在与参数化表示),轴二将记忆管理分为 T1 静态记忆、T2 动态记忆和 T3 自演化记忆三层。文章据此归纳出在源保真与抽象之间平衡、维护时间有效性与来源、以可恢复证据支撑记忆使用、以及随时间演化记忆策略等设计原则,并讨论未来挑战。
研究分析了 Guide Assisted GRPO 在长程 LLM 智能体任务中的课程设计,考察初始位置、交接单元和移动规则对无辅助任务完成率的影响。在 BFCL 上跨三种模型规模,固定轮级阈值下从接近完成处起步更有效;更细粒度的交接本身帮助不稳定,但基于结果信息的工具调用选择在已训练和未训练任务类别上均优于 GRPO。引导式起步在 AppWorld 两个评测划分上也提升了成功率。
OntoAR-HAR 是一个本体引导的智能体 RAG 框架,结合静态群体知识与个性化记忆,用于基于传感器的人类活动识别。其树状活动本体将分类分解为语义相关活动间的局部决策,静态库提供节点约束示例,离线发现的可执行信号特征提供数值证据,推理时个性化库收集用户观测数据。跨被试与异构传感实验显示,分层检索与个性化记忆在多个 LLM 主干上带来互补增益,达到 SOTA 性能。
研究者提出 Into the Unknown 基准,给智能体一篇科学论文和一个研究方向,要求其撰写后续论文。他们与 US Department of Energy(DOE)国家实验室的科学家合作,由后者提供各自工作中未发表的后续方向及投稿必须满足的条件,并据此形成评分标准。
研究者提出 Words to World 基准,让 LLM 通过控制连接机械臂、摄像头和传感器的 harness 系统,在真实物理环境中完成闭环交互任务。该基准考察模型的具身感知、动作规划、工具选择、空间推理与反馈纠错能力,实验发现模型存在幻觉状态变化、异常恢复差、长程规划不稳定等失败模式。
Plant Memory 将技术语言处理(TLP)应用于 SAP PM 工单导出,构建 ISO 14224 对齐的维护本体,每条抽取事实都带置信度、证据来源和验证状态。
HarnessNet 提出面向多智能体系统的分层 Harness 演化框架,其基本单元 Agentron 由可演化的 forward harness、基础模型和仅能观测并修改该 harness 的本地优化器组成,Agentron 通过分层图反向传播环境反馈。
研究基于 NASA 衍生的 BioSim 月球栖息地模拟,测试仅负责维持人类生命的 AI 操作员能否被延迟提示注入诱导关闭生命支持系统。攻击者无法伪造传感器或操作设备,只能说服智能体放弃目标,且需在操作员注视下维持关闭状态。
Harmony Harness 将 Agent Harness 的进化建模为多目标优化问题,用基于分解的进化搜索在 Pareto 前沿不同区域维护解,避免依赖手工设计的结构多样性指标。
论文提出 The Agentic Scientist,一个面向人类研究者的端到端分布式流水线,可与现代编码智能体协同开展计算研究。系统把研究拆分为任务起草、想法生成、规划、沙箱实验、结果聚合、基线与消融构建、事后分析和报告撰写,由 meta-controller 管理并行研究智能体并在各阶段执行 rubric 验证。
研究者提出 Marvo,一种从无标注图像中学习工具调用的自进化方法,由生成问答对的 challenger 和通过强化学习解题的 solver 两个智能体组成。其核心是 margin reward,即 solver 在有工具和无工具时表现之差,据此构建自适应课程以鼓励有效工具调用。在智能体推理、视觉搜索、数学及通用真实世界推理等基准上,Marvo 平均准确率最高提升 7.1%。
研究者提出 Trace Evolution Bench(TEB),将端点增益拆分为重打分与上下文或权重更新,并给出三套冻结的 80/20/40 数据包,仅当验证集不下降时才接受更新。
针对预训练 VLA 模型在未见长程任务中中途失败的问题,研究者提出按需递归自我改进框架 AdaRSI,先由编码智能体改进技能与执行框架,再通过从保存状态重试失败子步骤来归因,仅微调仍不可靠的子步骤。
研究者提出 Claim Cards,让科学主张验证智能体在收集证据前以九个字段显式记录自身解读,并标注为 stated、inferred 或 default。
研究者提出 SkillHorizon 基准,通过技能组合在七种商业环境中构建长时程任务,任务依赖输入输出、共享资源与状态更新,参考交互负载从 64K 到 1M tokens。在 1,050 个任务上评测五个语言模型,平均局部目标完成率从 90.4% 降至 46.8%,负载越大智能体越常在工作未完成时提交失败答案。代码已开源。
MCPDisCo 是一个面向 MCP 原生智能体的生态级强化学习框架,基于 Thought-MDP 在 70 个 MCP 服务器、527 个工具的真实长程交互上训练。它针对推理与工具使用相互拖累的"跷跷板"失效模式,结合 token 掩码奖励归因与双向梯度手术进行缓解,以更少 CoT token 取得更高成功率。在 MCP-Atlas 与 GAIA 上保持单调增益,模型权重与实现已开放。
研究者提出 SkillForgeBench,用 agent skills 作为统一执行蓝图,构建覆盖五大专业领域的 842 个沙盒任务,评测智能体严格满足复杂流程要求的能力。
WorkBorne 是一个以工件转换为建模核心的智能体任务合成框架,通过迭代网络检索构建工件语料库并发现非平凡转换,最终实例化为真实任务。该框架构建了 1,061 个工件语料库和 7,882 个任务环境,产出 15,485 条高质量轨迹,其中 53.6% 超过 30 轮助手对话。
MMLA-RSI 提出 Reasoning-Time Training(RTT)与 Reasoning-Time Memory Adaptation(RTMA)两条递归自我改进路径,分别改变策略状态 Φ 与权威记忆 M,并让各自的适应方法本身成为改进对象。
MARL-BattleGrounds(MARL-BGs)是一个 JAX 原生基准,面向异构、竞争性多智能体强化学习,填补 SMAX 类简单基准与 Dota 2 类昂贵环境之间的空白。
针对现有经验学习方法只看最终任务结果、忽略执行过程的问题,研究者提出轨迹质量引导的经验学习框架 TQG-Exp,通过轨迹质量损失(TQL)同时考虑任务完成度与过程质量,并结合有无检索经验的配对 rollout 优化经验、估计其效用。
PEAM 是一款基于端侧 LLM 的通信智能体,可自主生成毫秒级执行的个性化网络配置规则。它先用手工标注的真实用户数据微调端侧 LLM,再分规则生成与规则执行两阶段运行,并构建用户画像以持续优化规则。基于微调后的 4B 模型,PEAM 网络配置决策正确率达 99.13%,生成规则有效率 92.50%,分别较传统专家规则方法高出 4.41% 和 84.50%。