MemComposer:用强化学习为 LLM 智能体组装记忆
MemComposer 通过联合考察当前查询与检索候选,决定纳入哪些经验、选多少条以及如何排序,并用基于 GRPO 的 Experience Policy Optimization(ExPO)以完整智能体交互的任务成功反馈训练组装策略。
MemComposer 通过联合考察当前查询与检索候选,决定纳入哪些经验、选多少条以及如何排序,并用基于 GRPO 的 Experience Policy Optimization(ExPO)以完整智能体交互的任务成功反馈训练组装策略。
针对终端类计算机使用环境中 MCTS 配置无法显著提升任务成功率的问题,研究者提出 Probe-and-Resume:仅在智能体自认为完成的节点调用 critic,并让其对当前与初始状态的 fork 拥有读、写、执行权限以探测隐藏状态。
研究者构建了 Sci$\Pi$vot,一个基于人类纠正记录的 248 例科学判断基准,源自资深研究员六个月内在 26 个项目上对 LLM 智能体的反复干预。在提供项目记录的中等推理强度下,五个前沿模型中有四个低于随机水平,最高准确率 63.5%,低于新手的 73.4%;且各模型带项目记录的准确率反而低于不带记录时,重新考虑也未能稳定提升表现。
研究者发布 ToolBottleneckBench,在固定 harness 预算下测量工具智能体在受控压力下的表现,任务保持不变、每次只改变一种压力:注册工具目录、可见工具菜单、认证工作流或返回记录编码。
研究者发布 OmicsBench,一个面向 AI 智能体的长周期多轮生物信息学基准,97 个任务通过有向无环图串联 662 个子任务,每个子任务对应一轮用户输入并确定性评分。
研究在 NAQD-Env 合成环境中用 LoRA 微调 Qwen2.5-3B-Instruct,比较原始与增强课程对选择性撤回能力的影响。在 naqd 提示下,SFT 检查点的决策一致率达 0.77-0.92、撤回召回率 0.46-0.86,而三个基线仅为 0.45-0.63 和最高 0.06。
研究团队开发了对话式多智能体系统 ReviewPilot,将 PRISMA 流程从论文筛选自动化到信息提取,每条筛选决定附带理由、每个提取值标注来源。在流行病学专家综述上,ReviewPilot 在三种 LLM 上均优于单提示词 LLM 和 AgentSLR,筛选 macro F1 最高 0.776,提取 F1 最高 0.788。
研究提出训练框架 ASPO 与步级推理护栏 StepSafe,通过前缀级阶段对齐和自适应反馈自蒸馏,让模型在风险可见前继续、在澄清仍可避免伤害时提问、在伤害不可逆前停止。StepSafe 在五个智能体安全基准上取得开源护栏 SOTA,4B 版本 Youden's J 达 53.0,对比 46.2。
MAI-Gym 是一个开源一体化平台,统一移动、电脑和网页环境下的 GUI 智能体评测、数据采集与在线 RL 训练,支持十项基准并扩展到 20000 个并行环境实例。
研究在五个 benchmark 的 1,514 个长周期任务上,用七款 LLM 分析语义层、编排、压缩三种上下文工程技术单独及组合的效果。无这些技术的数据智能体分为调查者、过早作答者和提前放弃者三类行为组,每种技术只有匹配对应行为组才能转化为准确率提升;对调查者反而有害,编排会使其过度自信并损失 5 个百分点。
研究者提出 RAC,一种与 harness 无关的工程智能体动作与反馈层契约,由智能体决定工件应满足的关系,专用工具推导具体几何或时序结果。
针对长程 LLM 智能体的上下文压缩问题,研究者提出免训练的后处理步骤 Source-Judged Compaction(SJC):用非生成式决策模型 Jev 为摘要中每条内容打分,判断其是否有环境输出或上一版摘要作为来源,并删除无来源条目。
SkillNEO 用非精英进化优化 LLM 智能体技能,将 GPT-5.4 Mini 在 86 项 SkillsBench 任务上的平均奖励从 49.1% 提升至 66.4%,覆盖软件工程、办公等八个领域。
论文指出技能-策略协同演化存在被忽视的脆弱性:现有方法用协同训练时的技能库评估策略,但部署后技能漂移会使策略失效,且漂移敏感度随训练推进而上升。为此提出面向部署的评估协议 CODA,模拟技能漂移并引入语义保持编辑下的一致性率与损坏技能抵抗率两项指标。在四种协同演化方法和五个基准(六种设置)上,最差情况成功率比交付技能库的峰值低 5-13 分,抹去其相对无技能基线增益的 52-93%。
研究团队提出 PRISM 框架,评估激活干预在精度、语言和规模上的迁移能力。用 NF4 量化副本的行为标签可在极少场景下稳定估计干预方向,五语言 NF4 监督方向无需目标语言微调即可迁移至阿拉伯语,将 Llama-3.1-8B 的不安全违规降低 21.95 个百分点,并借助配对良性激活迁移至最大 70B 参数的模型。实验代码与交互式结果浏览器已公开。
一个冻结模型通过内外双层循环,在无奖励、无评判模型、无答案键的条件下生长出自己的 DSL 算子,实现精确问答。内层循环仅在两个独立编写的表达式对每条记录一致时才作答,将可回答问题集扩大约三倍;外层循环自主发现缺失能力并编写算子,仅在独立第二实现一致且结果满足守恒律时接纳。
研究者提出 EvolvingBrain,用自适应技能系统驱动多模态智能体在开放世界中自进化,包含分层技能自进化与状态感知自适应执行两部分。前者从模型轨迹中提取过程模式与问题模式,生成技能并形成由 Domain、Plan、Action/Trap 技能组成的分层技能架构;后者将长程交互总结为结构化摘要记忆,指导状态感知技能融合策略。
研究者提出 ARIA 框架,让紧凑模型学会在多智能体系统执行过程中判断何时干预、如何修正。团队从四个多智能体框架、六个基准、八种宿主模型收集超 24,000 条轨迹,构建了含 3,953 对执行验证修复的 ARIA 数据集,用于训练模型识别失败并给出修正方案。该模型在事后与运行时修复中均表现良好,并可泛化到未见过的框架和宿主模型,代码已开源。
IneqAgent 是一个将 LLM 推理与符号计算结合、在 Lean4 中证明不等式的智能体框架,采用引理级蒙特卡洛树搜索协调引理构造、目标重写与符号后端选择。
研究团队开发了一款通过 Line Messaging API 运行的聊天机器人,利用大语言模型实时检测恋爱诈骗所处阶段。该机器人基于社会科学领域的七阶段理论划分诈骗进程,一旦识别出诈骗即通过大语言模型给出阶段解释与防范建议。该成果已被 TANET 2026 录用,可用于真实场景降低恋爱诈骗风险。
AlphaDiana 是一个模块化测量系统,通过数据集、智能体、环境和评分器的接口,在保留 harness 原生控制循环的同时分别控制文件复用与记忆保留。研究用 3 个开源模型和 3 个开源 harness 在 5 个答案型基准上测试,发现 harness 并不能稳定提升推理准确率:在模型单独答错的问题上取得的增益,可能被其原本答对问题上的损失抵消。
PRISM 通过特权信息学习,从同一执行验证图语料中恢复每个查询的偏好信号:教师模型经零初始化低秩分支读取一个部署时不可用的同级图,学生在自己采样的轨迹上匹配其逐决策目标。在六个基准上,PRISM 优于所有评估过的拓扑设计基线,匹配教师对照实验支持了特权查询信息的贡献。代码已开源。
研究者推出 RealtimeBench,包含六类游戏共 180 个任务,在游戏持续运行、推理耗时的情况下评测 LLM 智能体。配对评测显示,GPT-6.1-sol 在游戏暂停时优于更快的 Jev,但游戏持续运行时反被 Jev 超越。
论文提出面向部署目标的智能体校准框架,主张校准应让智能体满足目标环境需求,而非模仿来源或追求通用最优。框架定义三类标准族(基础能力与可操作性、技术与专业精度、用户上下文),并用版本化映射区分需保留、转换、新增或淘汰的需求。作者强调这是方法论提案,仅含部分调和的试点证据,确认性验证与超 80% 零样本任务上下文接受目标仍未完成。
研究者提出 FARSIGHT 系统化框架,从市场压力鲁棒性和源操纵、智能体被攻陷等安全维度评估金融 LLM 交易智能体,并对照已发布代码核查论文评级。在 15 个学术方案中,无一在任何鲁棒性指标上获得满分,7 个开源方案的代码中无一在 LLM 之外强制执行止损或仓位限制,4 个缺失论文或文档所述的组件,2 个在宿主机上运行模型生成的代码。
研究提出"意志引导的多智能体原子事务"抽象规范语言,并构建一条从规范到 GLP 基础编程语言的抽象级联,包含 CVA、vGLP 和 GLP 三层,逐层证明其正确性。
研究者提出 LLM-as-an-Investigator 证据优先方法,并实现 Solution Investigator Agent(SIA),通过共享调查状态协调 Diagnostic Reasoner、Hypothesis Investigator 和 Counterfactual Investigator 三种推理行为,减少过早锁定错误假设。
论文提出 Praxist,一个以谱系为中心的代际系统,把可复现产物与评测结果转成带类型的证据图、分道前沿和议程,让后续尝试继承已验证机制与未决问题。
研究者推出 MasDrift 基准,包含 8 个领域的 600 个良性生产力任务,用于评测多智能体系统在委派任务时能否保留原始授权边界。测试显示,集中式层级架构任务完成率达 93.9–98.6%,高于对等网络的 85.7–87.0%,但未授权操作占比 2.7–19.8%,远高于后者的 0.6–0.8%,且差距随层级加深而扩大。
arXiv 论文《Multi-LLM Systems Exhibit Robust Semantic Collapse》指出,多 LLM 交互系统会出现语义坍缩,即在词汇表面存在差异的情况下语义表示系统性收敛,且无需重新训练或更新权重。
研究提出 ORACLE-SWE,量化 Reproduction Test、Regression Test、Edit Location、Execution Context、API Usage 等 oracle 与智能体提取信号对仓库级 SWE 任务成功率的贡献,并测量智能体实际找到的信号与 oracle 信号之间的差距。
针对奖励相互依赖、策略相互耦合的网络化多智能体强化学习(NMARL),研究者提出分布式可扩展耦合策略(DSCP)算法,引入"邻居平均 Q 函数"并推导出耦合策略梯度的新表达式。
针对 LLM 智能体与多智能体系统执行中偏离总体目标的"目标漂移"问题,研究者提出一个在旁监督执行的 steering agent,通过低成本快路径判断何时干预、高成本慢路径决定如何干预。两条路径用强化学习联合训练,结合成对排序目标与 GRPO。在信息检索类搜索任务上,该方法对单智能体和多智能体系统均提升了性能与效率,且能泛化到域外任务、迁移到未见过的执行器,并支持无需重训的可控干预频率。
研究针对动态未知的随机多智能体系统,提出将每个智能体的概率时序目标(用 PLTL_f 描述)转化为奖励自动机,并在 Nash 均衡、子博弈完美均衡等解概念约束下求解理性综合问题。方法基于表格型 Nash-Q 学习,给出条件收敛保证,并用同时有限样本置信界验证满足性、以近似最佳响应检查评估策略稳定性。在 8 个一般和并发随机博弈上完成实证验证。
研究者提出一种去中心化市场框架,让自利智能体通过顺序拍卖协作求解多步任务。研究对比 Mirror Descent、Thompson Sampling、Bayes-Optimal 和 PPO 四种竞价算法在 1st-Price。
该研究提出一种统一控制/通信策略,让每个智能体基于最后收到的邻居状态计算可达集,并用控制障碍函数求解安全控制输入,在通信间歇下保证智能体间避碰,前提是通信陈旧度有界。智能体依据不确定性与运动学风险指标决定何时抢占式发送自身状态。仿真显示,抢占式通信相比周期性和事件触发基线减少 77.5% 消息量,且零碰撞。
一项 arXiv 研究用十智能体事实讨论测试 LLM 群体纠错假设:无攻击者时仅 0.6% 的良性智能体最终接受错误答案,加入 1 个对抗智能体后升至 44.8%,3 个则达 60.5%。
研究提出"策略可识别性"概念,证明仅从固定策略对学习无法在策略层面识别奖励,与专家样本数 K 无关。
论文提出 Agent Status Protocol (ASP) 0.1 版,让异构 AI 智能体通过 HTTP POST 推送 JSON 事件向状态服务器上报运行状态,观察方则经 SSE 接收聚合后的状态更新。
针对 LLM 多智能体推理中因多数压力和回答风格偏好等非语义偏见导致的决策分歧,研究者提出一种测试时聚合框架:通过为每个不同答案呈现一条风格归一化的推理轨迹实现偏见控制,并将各聚合智能体初选答案置于少数派以注入偏见。