EvoCowork:面向真实办公任务的 240 项基准测试
EvoCowork 是一个包含 240 项任务的基准,用于在模型权重固定的条件下评估 harness 层面的递归自我改进,覆盖演示文稿、文档、表格和跨办公工作流四种模态。
EvoCowork 是一个包含 240 项任务的基准,用于在模型权重固定的条件下评估 harness 层面的递归自我改进,覆盖演示文稿、文档、表格和跨办公工作流四种模态。
研究者提出 HICO-Bench,包含 180 个日常协调场景,两个持有私有信息的智能体对话后各自记录商定计划,由程序检查 Feasibility、LLM 评判 Integrity,两者同时通过才算 Verified Success。
该论文提出一个技术中立的参考架构,用于将智能体 AI 集成到企业软件中,通过综合研究文献、行业架构指南和互操作规范,将架构能力归纳为十项职责,并定义边界不变量、类型化跨职责交互和可变点。作者以 ESG 投资组合分析与交易前合规智能体在既有面向服务的 ESG 指标计算与报告系统上实例化该架构,案例实现了十项职责中的七项,且一个独立发布的智能体架构无需新增职责即可映射到所提职责上。
研究者推出 ASIWorld 生存沙盒,结合持久世界与角色状态、角色范围观测和可编程异步接口,用于研究智能体的持续目标执行。在九种智能体配置的探索性研究中,八种完成生产任务,六种同时完成生产与探索两项任务;执行轨迹分析显示,任务结果相近的配置在准备、战斗和恢复行为上存在差异,准备不足与进度停滞相关。
研究者为反思型语言智能体推导出次线性反事实遗憾的充分条件,将局部生成与部署保证转化为完整智能体在资源约束下的长期性能保证,并保留原生控制器。该工作建立了资源敏感的迁移界,沿实际执行路径约束全状态部署差异,同时用局部生成可靠性给出累积生成机会界,显式刻画质量、覆盖与硬预算的权衡。全部 13 项编号理论结果的证明链已在 Lean 中形式化验证,包含一个策略反复增长且验证不完美的原生实例。
LYNX 是一个多智能体框架,将 LLM 驱动的数据分析建模为受 schema 和知识约束的分析问题,通过规划、生成、验证、精炼的闭环工作流协同保证语义一致与执行正确。
研究者提出插件式决策头,直接从冻结的视觉语言模型生成器隐藏状态中读取动作类型、目标元素和文本选项,无需生成 click(12) 这类文本。在 Qwen3-VL 4B 与 8B 上基于 213k 网页步骤训练后,置信级联在七个离线测试集上与生成器差距在 -0.3 至 +1.4 分之间,决策头承担 12% 至 64% 的步骤。
ProgAgent 是一套完整的 Programmatic Tool Calling(PTC)训练方案,包含可验证长程任务合成流水线、轻量级 PTC 运行时和两阶段训练配方。
一篇 arXiv 立场论文指出,相机优先 AI 智能体的核心障碍不是识别能力,而是时间——许多视觉目标转瞬即逝,等单体流水线完成推理时证据已消失。作者将此形式化为 Ephemeral-Target Interaction(ETI)与感知截止时间契约,区分硬性记忆截止时间与软性推理截止时间,并提出双截止时间架构:常开、有界、非语义的快路径,主动记忆机制,以及延迟审议层。
一项工业级流水线将美国州立法转换为严格 schema 约束的 XML,研究假设其准确率更多来自围绕模型构建的确定性工具(harness)而非模型本身。在 153 份金标准法案上交叉测试三种 harness 与三种 Claude 模型,完整流水线中最弱模型(0.948)反超单独使用的最强模型(0.806,配对 bootstrap p<0.001)。
针对 OPRO 优化过程难以追踪、无法利用历史迭代信息的问题,研究者提出工具增强策略智能体 TASA,基于优化轨迹为每一步规划策略,将优化过程分解为可追踪的策略选择。TASA 还利用 LLM 构建问题专用工具,并引入策略引导的自适应工具规划器,用轨迹信息更新解。在共享候选评估预算下,结果支持其解质量与策略引导搜索的可追踪性。
MHWA(Multi-timescale Hierarchical World-Action model)通过跨步高层上下文通道降低全局上下文更新频率,并借助上下文感知路由让门控网络动态重构底层 MoE,抑制自回归世界模型开环推演中的漂移累积。
AtomSearch 通过对比式原子编辑与技能状态树搜索(STS)优化智能体技能,在四个任务和五个目标模型上完成评测。使用 deepseek-v4-flash 时,它在四个任务中的三个上超过 SkillOpt,其中 LiveMathematicianBench 提升 9.68 个百分点,且 SkillOpt 最终技能字符数是其 2.3-19.7 倍。
DSABench 用于联合评估多数据库智能体的数据源发现、协调与执行能力,包含 815 个经人工审核的任务,其中 618 个需多个数据库共同参与,105 个存在多种数据源解读。
针对流式语音助手在用户自我纠正后仍执行过期工具调用的问题,研究者提出 Repair-Aware Semantic Survival Gating(RASSG),在连续三次语音识别结果参数一致时启动工具,并结合参数失效风险与执行成本在不可逆前决定取消。
PEARL 是一种无需额外 critic 的过程经验感知强化学习(Process-Experience Aware Reinforcement Learning)方法,通过定位同一历史下两条不同结果轨迹的首个分歧点,构建各分支局部决策的特征表示,并在近期失败与成功记忆中聚类以识别反复出现的局部决策模式。
一篇 arXiv 综述从两个视角梳理递归自我改进(RSI)研究:一是提出涵盖更新目标、更新组织、更新调度与范围、反馈与选择四组共九个设计维度的统一分类法,将现有方法置于同一设计空间;二是分析现有 RSI 方法如何借鉴优化、正则化、数据增强、持续学习与对抗学习等传统深度学习机制,并结合进化计算拓展新思路。文章还回顾了在线、离线及离线转在线三种设定下的自我改进评测基准。
研究者提出先在前沿模型 GPT-5.4-nano 上用真实流量反馈迭代提示词、待行为收敛后再通过 SFT 将生产行为蒸馏进 SLM 的两步法。在家庭护理排班智能体案例中,基于 11.6k 条生产决策用 LoRA 微调的 Qwen3-8B 达到 0.913 一致率,而教师模型 GPT-5.4-nano 重跑自身记录提示词时自洽率仅 72.7%。
EGCForest 是一个面向企业群聊的多视图分层记忆框架,将不可变消息日志组织为 Channel、Actor、Artifact 三片森林,并通过 Placement Map 与稀疏结构桥实现跨视图连接。在三个企业群聊基准上,其答案准确率较 MemOS 最高提升 20.85 分,并优于 RAG 与记忆系统基线,同时支持高效在线检索。
CB-Agent 将基于概念的上下文学习扩展到序列动作选择,从专家轨迹中提取环境-动作决策,通过最大似然拟合概念向量,结合冻结语言模型特征与先验建模候选动作的条件分布,使 ReAct 智能体无需在动作评分上下文中放入演示即可选择动作。
PsyMemBehav 通过两级身份到行动推理,将心理学启发的用户画像与检索记忆映射到平台行为,并基于 Reddit、Bluesky、Twitter 上 5,862 名真实用户的 5.57M 条行为构建了 PsyMemBehav-bench。
研究者提出 AGORA 框架,通过独立变化团队组成与相互依赖结构(协作、从众、竞争)两条轴,考察社会脚手架对自进化多智能体系统的影响。在网页搜索、代码库理解和文档问答任务中,进化本身很少带来提升,而合适的脚手架可让团队比单独进化的强智能体高出最多 25 分,其机制是将决策权转移给最有能力的成员。
首个基于真实客户项目构建的 FDE-Bench 基准发布,用于评估智能体在需求不明确业务任务中的端到端交付能力,涵盖 49 个组合优化与机器学习案例。在 18 种智能体配置中,最高平均交付得分仅 0.5510(FDE 参考值为 1.0),最高交付成功率(DSR)仅 6.12%,表明可靠的前置工程师级端到端交付对现有智能体仍不可及。
一项研究在 ALFWorld、ScienceWorld、Search-QA 和 WebShop 上对比了十种代表性方法与 GRPO,覆盖三种模型规模,共 132 次训练、12,124.4 H800 GPU-hours。结果显示:各方法相对 GRPO 的提升范围有限,没有一种方法能在所有设置下稳定胜出;强劲的最终性能可能掩盖训练不稳定,额外训练成本也未必带来更好表现。
PRISMATIC 是一个基于黑板架构的多智能体系统,由代表不同工作流角色的专科智能体协作生成并迭代优化用药方案,用于解决多病共存患者跨科室决策碎片化导致的处方错误。
Reels-RSI 是一个开源解说视频导演工具,将解说视频视为由脚本、分镜和逐帧动画代码组成的程序,自我改进发生在程序层面而非权重或提示词中。它把静态检查能捕获的经验编译为带必失败与必通过示例的规则,使记忆可单元测试,且新规则会回溯检查此前所有作品。在 111 个视频的实验中,该规则在旧帧中发现四个潜在缺陷,且规则对强导演是审计、对弱导演是防护。
一项客服场景部署案例显示,由自然语言指令、轻量工具(检索 API、格式检查脚本)和 LLM 生成的"Wikipedia 式"导航索引组成的便携技能,可在 Claude Code 等智能体框架上实现智能体 RAG,达到 99.2% 流程等价率和 83.3% 证据充分率。该方案 1-2 名工程师天即可实现,但每案例约 90 秒,比生产助手约 8-9 秒慢一个数量级,作者未主张延迟优势。
SAT-RL 是一个强化学习框架,通过多轮工具执行训练 LLM 与 Z3 等符号求解器交互,结合可验证合成数据、求解器增强轨迹的监督预热和工具感知奖励的求解器接地 RL。实验显示,SAT-RL 在域内和域外逻辑任务上均大幅提升了带工具符号推理能力,代码已开源。
ANASSA 框架通过设计科学研究(DSR)从高层架构责任细化为低层架构,包含 47 个逻辑角色、版本化任务图、基于能力的智能体选择、类型化契约、显式运行时状态、空间验证机制、治理控制、失败恢复路径和溯源记录。
RouteWeaver 是一个统一 LLM 路由框架,用单一策略整合单轮、多轮与智能体等路由模式,联合学习模式选择与模式内模型选择。其配套的 COMET-GRPO 将轨迹级优势拆分为模式选择与模式内执行两个信号,并引入渐进式探索,让路由器先学会执行各模式再决定何时使用。
研究者推出 ACED-Bench,一个神经符号基准,用于评估 LLM 智能体能否主动设计实验、解读有限证据并做出因果决策。其主榜单 ACED-CORE 含 180 项任务(60 项因果祖先/后代集合问题、120 项受限因果决策任务),另有 150 题的 ACED-QUAL 资格检查。
研究者提出 SYNC(Symbol-Indexed Neural Communication),一种词索引接口,让异构语言模型无需微调或学习型翻译器即可通信:发送方从共享词表选词并发送索引,接收方用自身激活拟合的词方向将事实写入隐藏状态。
针对长时程智能体"局部正确但任务不完整"的问题,研究者提出 Interlock 框架,将任务表示为带类型的完成图,并编译为可重置工作区、公开请求与评估标准。
研究提出"回复可用性"指标,用读者模型从请求者视角判断智能体回复能否被理解和使用,其与五名标注者多数意见的一致率处于个体标注者区间内。在七个家族八个模型的 480 条回复中,54% 失败,最佳模型仍有 30% 失败,失败多因指向请求者未见材料或使用智能体自造标签。明确回复要求可将失败率从 0.52 降至 0.43,再用次级模型改写回复可降至 0.36,并经人工盲评确认。
研究者发布 J-tau,首个公开的日语基准,用于评估交互式客服场景中使用工具的 LLM 智能体。该基准通过机器翻译、实体适配和人工审核对 tau-bench 进行本地化,并修复了原基准的无效任务与分数聚合错误两个缺陷。实验显示 J-tau 的评估错误少于直接机器翻译版本。
Harness^2 是一个即插即用的递归式智能体执行框架,通过任务级与执行级两层递归,在无真值验证器的情况下用对比式 Propose-Probe-Compose 步骤引导执行框架编辑。
研究提出一种中间架构:云端模型编写的程序通过普通函数调用,将关于用户数据的有界问题交给本地小模型回答,从而在数据不出设备的前提下完成运行时内容解释。在 AppWorld 上,该方案在全部六种骨干模型与测试分区组合中均提升纯代码智能体的成功率,最高提升 14.9pp,缩小了与云端 ReAct 循环的差距。
研究者对 PPO 智能体在 Crafter 环境中的价值函数施加反事实干预,发现尽管仅以优化奖励为目标训练,价值函数仍学到了钻石可收集规则、水与食物影响健康等概念。团队可视化这些世界模型并讨论了其安全启示,同时指出当前强化学习智能体阻碍构建真正先进机器智能的若干缺陷。
Long-Horizon-Terminal-Bench 2.0(LHTB 2.0)发布,保留原有 46 个任务并修正缺陷、扩展 31 个任务,共含 13 个领域、8 种任务类型的 77 个任务。
ClawLoop 是一个无需外部教师模型、仅依赖极少先验的自我改进框架,将任务合成、训练与诊断反馈组成自循环。以 Qwen3.6-27B 作为循环模型,ClawLoop 在 SkillsBench、Claw-Eval-Live 和 ClawGym-Bench 上取得持续提升,迭代优化的任务还可迁移至 Qwen3.5-4B 和 9B 模型并在所有基准上获得增益。