CompMat-Bench:面向计算材料科学的 AI 智能体基准测试
研究者推出 CompMat-Bench,一个源自近期计算材料研究、包含 94 项任务的 AI 智能体基准,通过预先复现研究步骤来评估智能体准备输入与分析输出的能力,从而避免评测时运行昂贵模拟。基于三个 LLM 的智能体在单任务完整指导下通过率为 66.0-90.4%,更长工作流与减少指导会以不同方式限制不同智能体表现,失败多归因于科学错误而非软件使用错误。
研究者推出 CompMat-Bench,一个源自近期计算材料研究、包含 94 项任务的 AI 智能体基准,通过预先复现研究步骤来评估智能体准备输入与分析输出的能力,从而避免评测时运行昂贵模拟。基于三个 LLM 的智能体在单任务完整指导下通过率为 66.0-90.4%,更长工作流与减少指导会以不同方式限制不同智能体表现,失败多归因于科学错误而非软件使用错误。
研究用全国调查、受控审议实验和真实审议民调评估六款 LLM 能否模拟公众审议,发现智能体常产生过度集中的意见,无法可靠复现人口统计差异。在模拟审议中智能体虽会交换论点并频繁改变立场,但在看不到彼此发言时也会出现类似变化,而仅重述初始立场则大幅减少立场变动。
研究团队提出 Agent Gym,一个模块化、领域无关的框架,可将任意现有 LLM 智能体包裹进持续评估与进化循环,无需修改智能体源码即可在部署后修正行为。框架包含 Act、Evaluate、Investigate、Correct、Learn、Observe 六项可组合能力,核心技术为带 21 个条件算子和三级动作的确定性-LLM 混合修正引擎,以及三层调查架构。
EvoFlux 是一种推理时搜索方法,通过对工具调用与依赖的结构化图进行进化循环来修复工具计划,并利用真实工具服务器的执行错误指导替换工具、修正参数、插入缺失步骤和删除冗余步骤。
SkillDAG 将类型化技能图作为 LLM 智能体可调用的接口,通过 search 返回向量匹配、类型化边邻居与冲突信号,并用 propose-then-commit 协议在执行中注册有执行依据的边。
研究者推出 Harness-Bench,一个在真实 Agent 工作流中评估配置级 harness 效应的诊断基准,包含 106 个沙箱离线任务,在共享任务环境、预算和评测协议下对比多种模型后端与代表性 harness 配置。
研究者提出 Life-Harness,一种生命周期感知的运行时框架,在不改变模型权重和评测环境的前提下提升冻结 LLM 智能体的表现。它从训练轨迹中把反复出现的交互失败转化为可复用干预,覆盖环境契约、流程技能、动作实现和轨迹调控。
研究团队前瞻性评估了自主系统 ERA,它用大语言模型引导的树搜索迭代生成、评估并优化可执行的预测软件。在 2025-26 美国呼吸道季的实时评测中,ERA 为流感、COVID-19 和 RSV 生成了方法多样的模型,其集成模型在 CDC 季后官方评估中排名第一,并在三种病原体上均超过 CDC 的黄金标准预测集成。
arXiv 论文提出把任意可验证的地球观测任务拆成 harness 与 verifier 两部分,由通用编码智能体据此自行构建并递归改进 EO 模型。在覆盖光学、SAR 和多光谱时间序列的六个 EO 基准上,智能体构建的模型全部超过当前最优水平,其中土地覆盖制图仅用 11% 的训练标签。作者认为这确立了人类设计 harness 与 verifier、智能体构建模型的新范式。
论文提出自编程执行(SPE),让模型补全本身充当编排程序,harness 只负责求值而不施加固定编排策略。为此作者设计了可自我编辑并重新求值的 Lisp 方言 Spell,使模型调用等副作用表达式在重求值时不重放。未经 SPE 或 Spell 训练的前沿模型可在上下文内学会 Spell 并完成挑战性智能体任务,代码已开源,论文被 NeurIPS 2026 接收。
BLOOM-WILT 是一套无需训练、仅依赖目标模型 next-token 分布的 LLM 审计流水线,通过多轮修正对话策略并混合诱发提示与无提示的 next-token 分布,来诱发罕见的多轮行为实例。
WorkflowPerturb 是一个用于评估多智能体工作流指标的受控基准,包含 4,973 条黄金工作流和 44,757 个扰动变体,覆盖 Missing Steps、Compressed Steps、Description Changes 三类扰动,严重程度分为 10%、30%、50%。
一项大规模实证研究评估了 Agent Skill 范式在 270M–80B 开源模型上的可行性,覆盖保险理赔分类与 Python 编程两类任务。结果显示极小模型常无法检索或选择正确技能,而 30B–80B 模型从技能增强中获益显著。研究还给出面向部署的 GPU 显存时间占用(GB·min)画像,揭示技能增强收益随模型规模、任务复杂度与 GPU 预算的变化。
研究者提出多智能体交互记忆(MATM)框架,让生产者智能体将轨迹贡献到共享仓库,消费者智能体检索复用,实现群体级经验存储与检索。在 ALFWorld 和 WebArena 长流程交互环境中,从 MATM 检索可提升下游任务表现并减少交互步数,且无需协调或联合训练。
研究者提出 Preping,一个由 Proposer 引导的智能体记忆构建框架,让智能体在接触目标任务前仅靠自生成合成练习构建程序性记忆。
该论文提出一种让 AI 模型通过与环境的直接交互自主生成并验证新知识的框架,核心是一个不可博弈的无界数值奖励(如磁盘占用空间或粉丝数),无需人类基准即可引导学习。AI 智能体迭代生成策略和可执行代码以最大化该指标,成功结果用于自我再训练和增量泛化,并通过 GRPO 支持微调以缓解模型崩溃和冷启动问题。系统采用模块化智能体完成环境分析、策略生成与代码合成。
研究者推出 3DCodeVerse 研究生态,让编码智能体大规模生成可编辑、可验证的 3D 内容,包含 3DCodeVerse-2M 大规模可执行 3D 代码数据集、基于多智能体有向无环图的 3DCodeVerse Harness 生成与优化框架,以及系统性 3D 编码实证研究。
CellForge 是一支由自主智能体组成的团队,可端到端完成单细胞扰动建模:从文献调研、数据解析到生成模型假设、编写训练代码并跑实验,最终返回含架构、代码与验证结果的预测器,全程无需人工指定设计、损失或训练协议。
OS-Helix 是一个端到端训练的多模态计算机使用智能体,把 GUI 操作与代码执行统一到同一个动作空间。作者通过应用与文件产物配对构建可执行 Ubuntu 状态,并用解耦的指令与评估器生成流程产出可验证任务,先以 SFT 冷启动、再在真实桌面环境中做在线 RL,并提出按动作步聚合重要性权重的 Step-balanced GSPO。
一项预注册研究用 465 个智能体编写的 PR 测试 CodeHealth 能否预测多智能体代码审查的 token 成本,结果显示三个 LLM 的 CodeHealth 系数均为负,每提高 1 点 CodeHealth 对应 token 成本降低 3.5% 至 6.1%。该关联与 PR 规模无关,且调整被评分文件大小后关联消失,研究者将其解释为文件大小的中介效应。
研究者发布 Φ-Bench,一个基于真实 LLM 训练与推理代码库构建的基准,含 85 项任务,覆盖九类 LLM 基础设施,任务形式从 kernel 函数补全延伸到长周期实现与仓库级端到端优化。在八个前沿模型中,表现最强的 Claude Opus 5 仅得 36.53%,且所有模型在长周期仓库级实现上的表现都差于 kernel 级任务。该基准将开源。
NeoHorse-1 是面向递归自我改进的智能体原生模型系列,通过异构模型池与智能路由,将每轮交互记录转化为保留推理、工具调用与 harness 上下文的训练样本。
RefactorPlatform 是一个开源评估框架,通过固定环境、显式变化模型骨干(OpenRouter 与 GitHub Copilot CLI)、执行模式(基线、检索增强、多智能体)和提示词具体度,对仓库级重构智能体进行受控评估。
X-Alpha 是一个将持久研究记忆与假设到代码的持续发现相结合的 AI 量化研究员,通过 Report-to-Memory Abstraction(RMA)把金融报告转化为可执行的研究路径,并借助记忆驱动路由重定向探索。它在中国大陆、美国和中国香港的五个股票指数上评估,以 CSI300 为核心的实验显示其因子质量与信号多样性优于基线,并在多个市场和预测周期上取得一致的生成级增益。
一个设计无关的覆盖率收敛智能体在异步 FIFO、UART 发送器和 AHB2APB 桥三种 RTL 设计上,将覆盖率从 91.7%、88.9% 和 67.4% 提升至 100%,每次运行均在 8 次迭代预算内完成。
Poison Valleys 在 1,844 次模型请求中追踪 LLM 代码修复的路径依赖失败,覆盖 PersistQueue 与 Dijkstra 两个合成 Python 案例。将错误机制从假设移入实现计划后,PersistQueue 失败率上升 32.2%,Dijkstra 上升 28.9%。不同误解产生模型相关的义务违反模式,但可能收敛为相同行为。
Matoi 将可复用的后果证据与当前执行权限、持久发生历史分离,用有限查询感知契约覆盖分支、有序集合与否定查询。在 1,440 单元匹配线研究中,输入字节相同时复用使 JS 完整生命周期成本降低 3.49%、Python 降低 1.79%;AgentDojo Banking 映射覆盖 5/16 用户计划与 7/9 攻击计划,两种治理策略均保留 5 笔正常转账并拒绝 35 次复用攻击计划/策略交叉。
PriorityFEC 是一种面向边缘多智能体 LLM 系统的 KV-Cache 交接方案,通过将高价值 KV 块前置并按接收端反馈调度修复包,在 TTFT 截止时间前保护最有价值的 KV 信息。该方案在分布式边缘 LLM 服务原型上以 Qwen2.5-7B-Instruct 和 Llama-3.1-8B-Instruct 评测,任务质量优于对比传输方案,且在截止时间约束严格时优势更明显。
研究者提出 BASIS 基准,用于评估 LLM 智能体能否推断用户请求背后的心理状态、识别信念与现实的不匹配,并据此给出合适方案。评估显示,当前模型在生成解决方案时往往忽略用户心理状态,而当这类信息被明确引出并提供时,方案质量持续更高。研究还通过通用 CoT 提示词对比、心理状态信息干预、针对性训练和多智能体协作实验,验证了考虑心理状态的实用价值。
研究者推出 MoCo,一个用于大规模执行、评测和比较模型协作算法的一站式 Python 库,涵盖 26 种模型协作方法与 25 个评测数据集。实验显示,多数协作策略在平均 61.0% 的(模型、数据)设定中优于无协作模型,最优方法提升幅度最高达 25.8%。
斯坦福团队提出免训练多模态框架 TRACER,将视频逐分钟动作记录与临床记录合并为小时级报告,并让 LLM 智能体通过工具查询该层级结构、调取相关视频与病历。在 397 段标注视频上动作检测准确率达 84.8%,144 道临床多选题 QA 准确率 61.0%,优于同骨干最强基线的 49.3%。
研究者提出 Librarian Agents 框架,让 builder agent 将原始文档转化为合成文件与引用链接构成的分层文件系统,并通过强化学习直接优化下游回答准确率。该方法在 BrowseComp-Plus 上比最强检索与预计算基线高出 33 个百分点,在 BRIGHT 上零样本跨域平均准确率提升 31 点,且构建成本可分摊到多次查询。
研究者构建 LinguaGuardBench,将 TS-Bench AgentDojo-Traj 的 1,220 条标注步骤中的用户指令翻译成德语、法语、土耳其语、斯瓦希里语和阿姆哈拉语,工具调用与标签保持逐字节一致,以检验护栏判定是否随语言变化。
研究定义了对智能体审批路径的 12 类攻击(含诱饵收款人、金额取消、标签欺骗等),并测试了 AP2、微软 action-bound approval 和 MCP elicitation。
WEAVE 框架将已验证的 PR 历史转化为可执行、依赖结构化的任务,通过仓库校准的类型化变更位点把相关 PR 组织成有界 DAG 并实例化为统一可执行任务。该框架还提出 Graph Credit,一种确定性的、基于测试的指标,用于衡量依赖一致的部分进展,并为强化学习提供稠密可验证奖励。实验表明 WEAVE 能生成连贯的可执行任务,比扁平评分更忠实地衡量进展,并为代码智能体训练提供有效监督。
研究团队提出 Screwtape 流水线,用 LLM 攻击者编辑真实智能体转录,使 Claude Code 和 Codex 的智能体产生指定危害(如泄露 API key 或生成未被监控的智能体),同时规避仅检测动作的监控器。在 94 份转录、252 次运行中,它生成 35 个通过验证器且逃过自建监控器的攻击,其中 6 个经人工确认有效,还逃过了某前沿开发者提供的留出监控器。
研究将人类对 LLM 智能体的干预视为定位内部失败计算的标签,在受控环境中针对"请求已明确却仍追问"这一失败展开实验,覆盖 Qwen2.5-3B、gemma-2-2b、OLMo-3-7B、Mistral-Nemo-12B、Phi-4 五个合格模型。
SHRED 通过大规模异构自博弈从随机初始化联合训练车辆、行人和骑行者,无需演示数据或轨迹回放。在 Waymo Open Sim Agents Challenge 上,SHRED 同时控制三类道路使用者,超越无演示自博弈基线和依赖演示训练参考策略的先前自博弈方法;仅用 nuPlan 地图几何训练的策略在 Waymo 零样本评测中保持可比真实感。
研究者推出 INFUSE,一个覆盖长周期智能体工作流全生命周期的间接提示注入(IPI)端到端基准,包含 40 个真实任务和 56 种攻击场景(分属五类威胁)。
RICE-Alpha 是一个 point-in-time 股票打分框架,将历史感知的多视角 Base Alpha 与基于历史事件延续的可靠性校准残差修正分离,通过 Multi-Tier Memory Layer 和 Typed Event Agent 构建事件状态图。