HarnessMDP:用离线强化学习让 LLM 智能体的执行 harness 变得可学习
HarnessMDP 把 LLM 智能体的执行 harness 视为可学习的控制层,将智能体执行建模为有限时域马尔可夫决策过程,由 harness 根据演进的智能体状态选择结构性执行动作,并用收集到的轨迹离线学习策略、上线后自适应控制新执行。在编码任务、tau-bench、AgentBench 等评测中,HarnessMDP 相比基线 harness 持续改善执行行为与最终任务表现。
HarnessMDP 把 LLM 智能体的执行 harness 视为可学习的控制层,将智能体执行建模为有限时域马尔可夫决策过程,由 harness 根据演进的智能体状态选择结构性执行动作,并用收集到的轨迹离线学习策略、上线后自适应控制新执行。在编码任务、tau-bench、AgentBench 等评测中,HarnessMDP 相比基线 harness 持续改善执行行为与最终任务表现。
研究者提出 ScholarQuest,一个基于 1000 多个计算机科学主题、围绕四类研究意图构建的分类引导基准,并配套百万级文献环境 ScholarBase 与共享多轮搜索测试框架。
研究提出一套以数据为中心的长上下文强化学习配方,围绕检索、多证据综合与推理三类任务构建八个数据集、共约 14K 样本,仅搭配基于结果的最小化 GRPO 设置。在 Qwen3-4B/8B/30B-A3B 三个模型上,于七个长上下文 benchmark 平均提升 +7.2/+3.2/+6.4 分,超过此前的 RL 训练集。
研究者提出 ThreadBench,一个基于 9,817 条真实 Reddit 讨论帖、覆盖 8 个领域和 116 个子版块的基准,用均匀性、表达、语气、互动 4 类共 12 项指标对比生成讨论与真实讨论。
研究者提出 PERSIST 技能注入方法,将攻击者选定的动作与可复用的实用函数绑定,在 SkillsBench 和 Skill-Inject 上,冻结的技能包可跨四种智能体-模型配置迁移,并泛化到多个未见任务而无需修改。该方法在任务成功完成的同时产生有害效果,匹配对比中其有害效果率高于两个基线,且源码检查与表达怀疑更少。
研究者提出 EgoProactive 智能眼镜数据集与跨域基准 Pro²Bench,用于评测主动式多模态助手的干预时机、流程完成度和响应质量。零样本下没有前沿或开源权重模型能在首次出错前完成超过 26% 的流程干预。其 PWR(Plan, Watch, Recover)架构在上下文中维护显式计划状态并在每次干预后修订,在三个开源权重骨干上把平均流程完成率从 20% 提升到 27%。
研究者推出 NoRA,一个视觉第一人称视频基准,要求模型从零生成候选下一步动作,并通过显式的"事实-理由-动作"支撑图说明理由。该基准包含 1,420 段标注视频片段,分为 HumanGold-190 与 LLMSilver-1230,按动作对齐、事实溯源与支撑绑定三项指标汇总为可溯源合理性分数。
OpenAgenet / OAN 黄皮书提出一套协议中立的信任层,用于开放 Agent 互联与可发现的 AI 资源产品,涵盖 did:oan 身份对象、注册流程、治理背书的 Root 生命周期、Root 验证包模型及授权感知 Discovery。
OpenAgenet(OAN)白皮书提出一套协议中立的可信 Agent 互联信任层,解决 Agent 进入多运营方开放网络时的身份溯源、治理状态、发现授权与连接前信任验证问题。
研究者提出"智能体经济"框架,让基于 LLM 的智能体通过拍卖竞争行动权、交换支付并从环境奖励中积累财富,以去中心化激励机制自发形成全局规划。该框架从弱智能体起步,在数学推理、金融研究、科学研究、加速器设计与分布式系统优化五项任务上均优于更强的单体基线,并涌现出多步推理策略。
Meta-Team 是一个基于协作自进化的经验驱动 LLM 多智能体系统进化框架,通过保留各智能体的执行上下文并协调任务后通信,让智能体交换分布式证据以支持进化。该框架将执行经验转化为智能体行为、智能体间协调和团队级组织三个尺度的可复用改进,在六个长时程智能体基准上持续优于单智能体系统、手工设计的 MAS 及此前的 MAS 进化方法。
AsyncFC 是一个纯执行层框架,将 LLM 解码与函数执行解耦,在依赖允许时实现解码与执行重叠及函数间并行,无需微调或修改标准同步函数调用协议。在编码任务上,AsyncFC 取得 1.4 倍端到端加速并保持任务准确率。结果还显示,LLM 具备对表示未完成执行结果的符号 Future 进行推理的原生能力。
研究者提出 VLAs-as-Tools 策略,由高层 VLM 智能体负责时序推理与全局规划,一组专用 VLA 工具执行局部物理操作,并通过 VLA 工具族接口实现事件触发的重规划。
研究团队提出 SciSense 框架,将 LLM 科研智能体的构思阶段拆解为八个认知阶段,并构建了 12 万条引用条件研究轨迹数据集 SciSense-Traj,涵盖 Hindsight 与 Foresight 两种模式,蒸馏出 3B 至 70B 参数的 SciSense-LM 系列模型。
CAT 是一种调用链感知的 LLM 测试生成方法,通过静态分析将调用链与依赖上下文显式注入提示词,建模调用者—被调用者关系、对象构造函数和第三方依赖,并支持生成失败时的迭代修复。
针对 GRPO 在多跳搜索中惩罚正确中间步骤、训练不稳定等问题,研究者提出优势校准方法 CalibAdv,利用中间步骤正确性在细粒度上缩减过大的负优势,并重新平衡正负优势以提升训练稳定性。该方法采用轻量设计,仅从标准 rollout 信号校准优势,在三个模型和七个基准上同时提升了性能与训练稳定性,代码已开源,论文被 EMNLP 2026 Findings 接收。
研究提出持续强化学习框架 TeLAPA(Transfer-Enabled Latent-Aligned Policy Archives),将行为多样的策略邻域组织为按任务划分的存档,并维护共享潜在空间,使存档策略在非平稳漂移下仍可比较和复用。
一项技术报告通过分析公开源码,拆解了 Claude Code 的架构,并与 OpenClaw、Hermes Agent 两个开源 AI 智能体系统对比。其核心是调用模型、运行工具并循环的 while-loop,周边则包含七种模式的权限系统与 ML 分类器、五层上下文压缩管线、MCP/插件/技能/钩子四种扩展机制及子智能体编排。
IMAGAgent 是一个基于"规划—执行—反思"闭环机制的多轮图像编辑智能体框架,通过约束感知规划模块将复杂指令分解为可执行子任务,并利用工具链编排模块调度图像检索、分割、检测与编辑等异构模型。
TopoPilot 是一个用于自动化复杂科学可视化工作流的智能体框架,采用编排器与验证器双智能体架构,并加入确定性护栏。在覆盖 100 个提示词的 1000 次模拟多轮对话中,其成功率超过 95%,而无全面护栏与验证的基线不足 50%。在相似提示下,TopoPilot 在准确率、完成时间和 token 用量上均优于 Claude Code 和 Codex。
研究者提出 Event Logic Tree(ELT)知识表示框架,将自然语言事件描述转化为信号基元上的结构化时序逻辑,并据此构建神经符号 VLM 智能体框架 SELA,迭代地从信号可视化中定位基元并按 ELT 约束组合,同时输出事件区间与树状解释。
研究者提出一种基于运行时监控的智能体安全方法,允许用户用 Datalog 指定策略,并通过构建事件图在运行时执行。当智能体即将执行工具调用等动作时,该方法结合当前系统状态与历史事件判断是否违反策略,进而阻止或放行该动作。该方法已实现并在多个 benchmark 上评估,研究团队将其视为迈向可证明安全智能体系统的一步。
论文提出 NeuroFilter,一种基于激活探测的隐私过滤器,用于 LLM 智能体的推理时隐私防护,计算高效且适用于单轮与多轮对话。该工作首次系统性地跨对话轨迹探测模型内部状态,覆盖多种上下文、攻击风格与多个基座模型,并能应对 mosaic attacks 等挑战性场景。
TENET 是一个在测试驱动开发(TDD)范式下进行仓库级代码生成的智能体框架,包含测试套件选择、检索调试工具集和基于反思的迭代改进流程。在 Claude Sonnet 4 上,TENET 于 RepoCod 和 RepoEval 分别达到 69.08% 和 81.77% Pass@1,较最强基线提升 9.49 和 2.17 个百分点。
研究者提出 Role-Conditioned Context Routing(RCR),一种执行时上下文路由层,按角色、任务阶段元数据和 token 预算,从结构化共享记忆中为每个智能体选择性分配相关记忆条目。
研究者提出一种分层强化学习红队测试范式,将红队测试形式化为马尔可夫决策过程,以最大化多轮交互的预期累积危害。其生成式智能体借助 token 级危害奖励学习多样化多轮攻击,可持续发现绕过基线的 LLM 漏洞,并取得新的 SOTA。该工作被 NeurIPS 2026 收录。
研究提出"共创学习"范式,让人类与 AI 通过 Metropolis-Hastings 命名博弈(MHNG)相互整合各自的感知信息,构建共享外部表征。
论文《A Generalist Hanabi Agent》已被作者 Hadi Nekoei 撤回,原因是发现 R3D2 实现中的 bug 使论文部分关键结论失效。该论文原提出 Recurrent Replay Relevance Distributed DQN(R3D2),用文本重构 Hanabi 任务并设计分布式 MARL 算法,声称是首个可同时游玩所有游戏设置、并将策略迁移到其他设置的智能体。
VQEL 将向量量化引入消息生成过程,让智能体基于学习到的码本进行离散内部表征的自博弈,同时保持端到端可微,规避了 REINFORCE 和 Gumbel-Softmax 在训练稳定性与扩展性上的局限。该码本还能自然形成符号词表,便于后续与其他智能体互博弈时直接迁移对齐。实验显示,经 VQEL 自博弈预训练的智能体在互博弈中符号对齐更一致、任务成功率更高。
Penumbra 是一种对抗搜索方法,从已验证锚点出发,在逐步扩大的编辑预算下寻找使双评估委员会改变裁决的响应,并输出跨越合规边界的两条相邻响应。在匹配预算下,自适应分配在 59% 候选上达到均匀分配全预算的覆盖率;同等记录数下覆盖的失效模式是朴素枚举的 1.43 倍。在金融顾问章程的 60 条筛选义务上返回 144 对合规/违规响应,临床分诊章程的 18 条义务上返回 49 对。
研究者提出一个由 AI 智能体驱动的可微科学软件演化环境,将需求识别、开发与质量评估打通,通过统一微分接口复用导数规则。该工作为物理、化学、生物建模领域的 20 个软件包构建并验证了自动微分扩展,基准测试显示梯度评估与参数估计相比有限差分更省算力。研究驱动的修订使原本不支持的流程实现可微,并修正了科学观测量的导数、消除冗余计算。
研究者提出 SkillScriptBench,一个 350 任务的基准,用于分别评估 LLM 智能体在文档修复、脚本修复与保持正确行为上的技能自演化能力。该基准从超 35,000 个 GitHub Skill 仓库中选取 100 个包构建 150 个修复任务,另设 200 个受控任务在 clean、文档故障、脚本故障及双重故障四种状态下评测。
判断模型 Jev 在单次调用中直接输出各选项概率,研究发现其能力边界清晰:在认知反射测试中答对 99% 的反直觉题目,但在需要模拟输入之外信息的任务中失败,如在 ALFWorld 中会把未洗的刀直接放进抽屉。若由代码提供预测或模拟(如 ALFWorld 的前瞻、机器人控制中的物理模拟),Jev 可凭借通用评估能力成为专家级控制器。
Rep2Skill 是一个表征引导的 LLM 智能体技能自进化框架,通过建模智能体 rollout 的内部表征轨迹定位偏离成功执行动态的轮次,并将其与执行上下文一起转化为可操作的文本反馈以修订技能。在两个智能体环境和两个开源 LLM 上的实验显示,在同一个 LLM 同时充当执行者与优化器、不依赖更强外部模型的自进化设定下,Rep2Skill 持续优于纯文本方法。
研究评估了直接零样本提示、分阶段工作流和多智能体系统三种 LLM 方法,用六个开放权重模型从间作文献中提取数据。直接零样本提示表现最强且最稳定,相似度调整后 F1 最高为 0.577,但所有方法都远未达到完全准确。在下游分析中,多数模型与方法组合能恢复预测变量与结果变量之间的关系方向,但无法准确估计其幅度。
一项针对编码智能体成本低效行为的首次研究分析了 Claude Code 和 Mini-SWE-Agent 在 SWE-bench Verified 上的 1200 条轨迹,识别出子集检索、相似脚本生成和测试重复执行三种行为,它们影响 79.00%–98.00% 的编码任务,最高占任务成本的 22.75%。
研究团队开发审计机制,在 ToolUniverse 环境中检查 15 个科学工具及其 API 与 wrapper 文档,发现 91 个经人工验证的静默失败——工具调用看似成功,但信息或功能缺失且不通知用户或智能体。
ScholarSeed AI 团队提出 ScholarStack,将论文集合编译为可复用、带版本与溯源信息的三层研究资产:论文级陈述、领域级组织和跨论文证据综合。在覆盖十种任务设置的四个任务族中,使用该资产的智能体在跨论文证据类任务(如多论文问答与文献综述生成)上质量提升,且所有测量任务的查询时 token 成本均下降。
研究对检索增强问答、网页搜索和软件编程三类 LLM 智能体任务进行资源动态刻画,发现同一工具在不同任务下的资源表现差异显著,并发请求会暴露 CPU、磁盘 I/O 和内存等任务相关瓶颈,更快的 LLM 响应或更多 CPU 核心并不总能加速智能体。基于此提出的 CPU 感知工具准入与任务感知 CPU 分配优化,使 CPU 敏感任务延迟提升约 5.4 倍,多任务平均延迟降低约 32%。
研究者发布 JaxAHT,首个基于 JAX 的开源 Ad Hoc Teamwork(AHT)库,统一支持队友生成、ego agent 训练与 unseen teammate 评估,相比现有 PyTorch 实现取得约 95x 墙钟加速。