Autonomous Science Bench:评估 AI 智能体的自主科学发现能力
研究团队推出 Autonomous Science Bench,包含六个基于已发表实验的预算受限 design-build-test-learn 任务,覆盖生物学、化学和材料科学。
研究团队推出 Autonomous Science Bench,包含六个基于已发表实验的预算受限 design-build-test-learn 任务,覆盖生物学、化学和材料科学。
研究者提出通用校准框架 GCH,将地球科学模型校准从请求到结果评估端到端委托给 LLM 智能体,由知识基础设施和验证约定约束智能体定义参数域、观测映射与目标并生成模型专用代码。
研究者将策略性模型选择定义为叠加在基础博弈之上的元博弈,由选择器每轮从模型池中派出一个 LLM 应对在线学习的潜在收益矩阵。在 5 个游戏和 10 个 LLM 上的评估显示,模型策略能力随游戏设置和对手不同而显著变化,且提取可靠信号所需的种子运行数 N 远高于传统基准。
AssetForge 是一套资产增强的任务构建流水线,将可复用的构建资产库与任务专属 Rubric 配对,由资产提供应用接口、世界状态组件、策略/证据载体和原生断言定义。
在 TCMEval-SDT 中医辨证基准(200 例)上,约束大语言模型可审计决策的是输出纪律与推理结构而非模型能力:两年模型扩展仅让零样本分数变动 -0.03 至 +0.08。
针对标准广播式多智能体辩论(MAD)中智能体无需回应特定同伴观点的问题,研究者提出 TrueMAD——一种与骨干模型无关的测试时插件,在答案广播与自我修订之间引入一对一、自由形式的同伴建议,源智能体通过支持、反驳、改进或追问回应目标智能体的当前推理。
研究提出 SOFA(State-aligned Order-Flow Allocation)订单流合约,由 State Scorer、Commitment Scheduler 和 Quote-to-Flow Allocator 三部分组成,通过配对再适应协议在 ABIDES 市场的 20 个独立训练的交易商群体中测试。
研究团队提出 CompanionSafe 统一框架,包含多轮评估组件 CompanionEval 与护栏组件 CompanionGuard。CompanionEval 基于多样人设、匹配伴侣角色和对话场景构建 1300 个关系化多轮评估设置,覆盖四个轮次层级;CompanionGuard 将基准暴露的失败转化为轮次定位监督,用于伴侣特定风险检测。
研究团队推出 LifeSearch 基准,包含 203 个中英文任务,覆盖 7 个真实生活与生产力领域,并基于超 4500 小时人工标注构建了 4000 多条细粒度评分标准。
研究者发布 AM-Bench,基于 Terminal-Bench 2.0 和 Harness-Bench 改编的 48 个任务,每个任务含一个完整规范参考和六个变体,覆盖目标、上下文与约束的模糊或缺失。
研究者提出 ResearchFlow-Eval,一个在阶段与主张两个层面评估连续科学执行与迭代的细粒度框架,每项评估以已发表锚点论文为基础生成阶段专属评分标准。对通用智能体框架、技能增强框架及研究专用编排系统的评测显示,实验执行一致落后于设计与规划,重复尝试很少带来可测量的改进,技能增强与研究专用编排均未可靠提升得分。
AReaL-RSI 是一个无需更新骨干 LLM 权重、通过组织持久化智能体研究团队来实现递归自我改进的框架,由 leader agent 选择研究方向、条件记忆共享区分未解决问题与已验证发现。
WorkRover 是一个通过递归环境演化训练长时程协作智能体的框架,其 harness 驱动合成让构建智能体协同生成语义对齐的工作上下文、可执行任务与基于证据的验证器。
研究者提出 Bemula,首个专门评测 LLM 智能体记忆遗忘(memory unlearning)的基准,包含 50 个多轮对话实例、6 类共 135 条遗忘请求和 1742 道测试题。
针对 VLM 驱动的 GUI 智能体普遍采用固定记忆表示的问题,研究者系统研究了记忆模态偏好,发现其强烈依赖交互步骤。为此提出 SwitchMem 路由框架,在每一步动态选择文本或视觉记忆表示,在三个 GUI 基准上均优于静态记忆表示基线。
研究者提出 CoSIR(Collaboration via Surprisal-based Information Rewards),一种后训练方法,通过可验证环境中的贝叶斯评估器,按团队 surprisal 的降低幅度为共享信息和请求打分,并奖励智能体在自身决策中使用队友信息。
ECMR 是一种证据感知控制器,可在冻结的角色条件 LLM 上动态决定提议、质疑、验证、仲裁、多样化、纠正角色或停止。在 MedQA、CaseHOLD、FinQA 共 9,000 条记录的留出评测中,ECMR-Full 将汇总准确率从 62.1% 提升至 84.9%,假共识率从 40.7% 降至 17.0%,证据支持率从 58.0% 升至 88.7%。
研究者提出 Socratic Skill Learning(SSL),让 Educator 引导探究、Student 作为唯一环境操作者与技能作者,交错进行专家教学与练习,以学习可迁移的智能体技能。
研究者提出自适应多智能体控制器 ADMA,在任务模型冻结的前提下学习提案、质疑、仲裁与协调的连续策略。在 Qwen3.5 固定时,ADMA-Full 相比 Direct 提升准确率 6.2-14.2 个百分点,相比 ADMA-Fixed 提升 2.8-3.0 个百分点,但 token 与延迟中位数分别为 Direct 的 14.3-18.7 倍和 7.8-16.5 倍。
研究者提出跨源证据锚定(CSEG)评估框架,用六层决策树覆盖完整搜索轨迹,并构建 CSEG-Bench 与可训练奖励模型。团队基于真实检索文档池重写答案,构建覆盖九条规范路径的 1,160 条已验证轨迹,训练出的 CSEG-RM 在基准上达到 83.9% 精确准确率。仅用该奖励监督冻结检索的答案策略,可将独立评判的平均标签从 2.83 提升至 4.19。
研究者提出 EC2-Bench,一个面向长程 LLM 智能体执行的边缘-云协作基准,包含可执行的数字工作空间任务,并统一评估任务性能、资源占用与隐私暴露。实验发现,协作执行在性能、资源与隐私间取得较好平衡;边缘模型越强,协作表现越接近纯云端,且策略间性能差距缩小,但隐私暴露仍高度依赖策略。边缘能力增强后,首选协作方式从云端外部控制转向边缘主导。
Agentic4PDM 通过 LLM 智能体将信号与各类候选标签参考对比、识别未决差异并提出后续测量,由确定性宿主控制器执行契约校验的门控裁决(CCGA),区分佐证性支持与参考性信息。该框架支持无需任务专用诊断模型的免训练诊断,在轴承与电机诊断挑战及客户提供的未过滤工业测试集上,聚合 macro F1 优于所评估的诊断与智能体基线,消融实验进一步支持受治理工作流的价值。
研究提出 Memory Echo 概念,指同一来源的历史信息在无独立证据下获得的额外检索曝光,并构建 MEchoBench 评估其产生、抗纠正、持续性与对答案的影响。
研究者提出"结果对齐"概念,要求 AI 智能体将用户指令视为证据而非目标,从指令与环境中推断真实需求。基于 SWE-chat 的 100 条用户-智能体轨迹分析显示,56% 的初始指令遗漏了后续才显现的必要需求,52% 的有用后续需求本可从项目中推断。
研究者提出耦合演化框架,让可执行工具库与模型工具使用策略从同一可验证拟合误差信号中共同改进。工具演化阶段由智能体诊断自身失败来新增工具并修正选择规则,策略演化阶段用约 3B 激活参数的小开源模型在成功工具使用轨迹上微调。
针对长周期智能体任务中基于评分标准的评估易忽略环境状态与执行轨迹证据的问题,研究者提出证据优先的验证器 Sauron,它独立核验每项声明后才采信,并为每个判定附带可审计的证据凭证。
研究发现,LLM 智能体工作流的信息架构——信源访问、交接格式、由哪个模型读取不可信内容——决定协同操纵能传递到终端用户的程度。
针对智能体构建的知识图谱在源被撤回或撤销后难以维护的问题,PolyGraph 要求构建器在生成每个产物时附带“收据”,即声称各自充分的替代源证据包,清理时仅需对收据做集合运算,无需调用模型。在真实撤回场景下,现有流水线仅将受污染查询从 32.2% 降至 28.0%,而按句生成收据的摘要层可将受污染查询降至 0.4% 至 0.8%,同时保留完美维护者 99.8% 至 100% 的召回率。
针对 GUI 智能体强化学习结果奖励稀疏的问题,研究者提出自适应分组过程奖励框架,将 GUI 轨迹动态划分为语义连贯的子目标组,在动作级和组级同时估计过程奖励,并用其增强 GRPO 的结果优势以提供更细粒度训练指导。在过程奖励基准和下游 RL 训练上的实验验证了该框架的有效性。
研究提出 EncounterMob,一个由粗到细的 Encounter Generator 与 Iterative Coupling Framework 组成的相遇驱动 LLM 框架,用于在保留个体移动的同时还原人口级交互结构。
Cowork-Gym 是一个通过 build-execute-revise 循环合成 Cowork 环境的框架,利用执行证据和评审反馈验证并修复生成的环境,并用有状态用户模拟器通过对话和直接编辑共享工作区来响应智能体动作。
研究者提出智能体遗忘问题,即需从 LLM 智能体的参数知识、持久记忆和工具调用三条信息通道中移除隐私信息,仅靠参数级遗忘并不足够。为此推出 Agent Unlearning Benchmark(AUBench),将 TOFU 的虚构作者设定扩展至带持久记忆、离线网页快照和工具可访问文档的智能体环境。评测显示模型级遗忘与系统级智能体遗忘之间存在明显差距。
研究固定一个 27B 韩语企业模型,比较策略决策用生成 JSON 还是单个受限 token、以及是否先推理。在 2800 条分布内样本上两条部署路径准确率无差异(93.46% vs 94.14%),但重启稳定性相差约十倍(动作翻转 3.00% vs 0.29%)。在 300 条由隐藏可执行策略标注的封存基准上,推理带来 +17.3 分的精确动作提升;关闭推理时两种接口格式差异为 0.0 分。
研究提出用可执行前缀价值 V(h_t) 定位 LLM 智能体失败点,在 150 个 SWE-bench Verified 任务上为 47 和 60 条失败轨迹构建成功概率曲线并标定不可逆点(PNR)。
MAS-Gate 将 LLM 多智能体系统的开发与运行统一为设计编排、运行时干预、事后归因三阶段生命周期,用节点中心量化贯穿其中。该方法把每次执行建模为有向无环图,结合节点内效用与节点间强度,分别用于 Orchestrator 训练的稠密奖励、Editor 的运行时前缀编辑,以及为 LLM 事后归因提供风险排序节点。
UCoE 是一种无训练方法,让可执行验证器程序与智能体的 harness 状态协同演化,所有模型参数保持固定。它通过合成候选验证器程序并在响应对比上测试,选取最弱对比族区分度(驱动容量)最高的候选。
SchemaWeaver 是一种端侧移动智能体 AI 技术,在 LLM 工具调用的解码阶段引入 schema 引导的并行解码,每次解码生成多个 token 以降低延迟。它无需训练或修改 LLM 即可通用接入移动端推理引擎,在主流移动 SoC 和 LLM 系列上实测工具调用延迟最高降低 3.9 倍。
论文提出,能动性(agency)不只是基础模型的应用,而是计算机科学的一个候选新组织抽象:如同进程抽象围绕执行程序组织计算,能动性围绕在有限资源下追求目标组织计算。作者认为,已部署智能体系统反复出现的资源失控、被对抗性内容重定向、持续运行不透明等故障,是结构性抽象缺口的症状而非孤立工程缺陷,并从执行、接口、正确性、监督、协调与持久性六个维度分析了这些缺口。
研究测试 OLMo-3-7B-Instruct 在双客户环境中共享对话记忆时的表现,模型在 22% 的合格决策中偏离当前客户目标。线性探针显示客户目标归属在中间层高度可恢复并集中于特定注意力头,消融竞争对手的缓存目标表征可将模型拉回当前客户,且效果强于随机头和非目标 token。
研究者提出面向对象的上下文运行时 CarryOn,围绕可复用的任务对象而非产生这些进展的交互历史来组织长程智能体的续接上下文。它由续接载体、补充执行上下文和近期交互的实时尾部构成上下文视图,并在折叠时跨轮维护载体记录、仅依据绑定证据与环境检查修订受影响记录。