跳到正文
10月16日周五
  1. arXiv cs.AI30

    CompMat-Bench:面向计算材料科学的 AI 智能体基准测试

    研究者推出 CompMat-Bench,一个源自近期计算材料研究、包含 94 项任务的 AI 智能体基准,通过预先复现研究步骤来评估智能体准备输入与分析输出的能力,从而避免评测时运行昂贵模拟。基于三个 LLM 的智能体在单任务完整指导下通过率为 66.0-90.4%,更长工作流与减少指导会以不同方式限制不同智能体表现,失败多归因于科学错误而非软件使用错误。

  2. arXiv cs.AI31

    从模拟公民到模拟审议:LLM 智能体在代表性与交互上的挑战

    研究用全国调查、受控审议实验和真实审议民调评估六款 LLM 能否模拟公众审议,发现智能体常产生过度集中的意见,无法可靠复现人口统计差异。在模拟审议中智能体虽会交换论点并频繁改变立场,但在看不到彼此发言时也会出现类似变化,而仅重述初始立场则大幅减少立场变动。

  3. arXiv cs.AI40

    Agent Gym:通过人在回路反馈持续评估与进化 LLM 智能体的框架

    研究团队提出 Agent Gym,一个模块化、领域无关的框架,可将任意现有 LLM 智能体包裹进持续评估与进化循环,无需修改智能体源码即可在部署后修正行为。框架包含 Act、Evaluate、Investigate、Correct、Learn、Observe 六项可组合能力,核心技术为带 21 个条件算子和三级动作的确定性-LLM 混合修正引擎,以及三层调查架构。

  4. arXiv cs.AI66

    ERA:用 LLM 引导树搜索自动生成多病原体疾病预测模型

    研究团队前瞻性评估了自主系统 ERA,它用大语言模型引导的树搜索迭代生成、评估并优化可执行的预测软件。在 2025-26 美国呼吸道季的实时评测中,ERA 为流感、COVID-19 和 RSV 生成了方法多样的模型,其集成模型在 CDC 季后官方评估中排名第一,并在三种病原体上均超过 CDC 的黄金标准预测集成。

  5. arXiv cs.CL60

    把任意地球观测任务变成递归自我改进:智能体自主构建遥感模型

    arXiv 论文提出把任意可验证的地球观测任务拆成 harness 与 verifier 两部分,由通用编码智能体据此自行构建并递归改进 EO 模型。在覆盖光学、SAR 和多光谱时间序列的六个 EO 基准上,智能体构建的模型全部超过当前最优水平,其中土地覆盖制图仅用 11% 的训练标签。作者认为这确立了人类设计 harness 与 verifier、智能体构建模型的新范式。

  6. arXiv cs.AI40

    语言模型智能体的自编程执行(SPE)与 Spell 语言

    论文提出自编程执行(SPE),让模型补全本身充当编排程序,harness 只负责求值而不施加固定编排策略。为此作者设计了可自我编辑并重新求值的 Lisp 方言 Spell,使模型调用等副作用表达式在重求值时不重放。未经 SPE 或 Spell 训练的前沿模型可在上下文内学会 Spell 并完成挑战性智能体任务,代码已开源,论文被 NeurIPS 2026 接收。

  7. arXiv cs.AI32

    Agent Skill 框架:中小型语言模型在工业环境中的潜力研究

    一项大规模实证研究评估了 Agent Skill 范式在 270M–80B 开源模型上的可行性,覆盖保险理赔分类与 Python 编程两类任务。结果显示极小模型常无法检索或选择正确技能,而 30B–80B 模型从技能增强中获益显著。研究还给出面向部署的 GPU 显存时间占用(GB·min)画像,揭示技能增强收益随模型规模、任务复杂度与 GPU 预算的变化。

  8. arXiv cs.AI27

    从自产数据中泛化:超越人类约束的模型训练框架

    该论文提出一种让 AI 模型通过与环境的直接交互自主生成并验证新知识的框架,核心是一个不可博弈的无界数值奖励(如磁盘占用空间或粉丝数),无需人类基准即可引导学习。AI 智能体迭代生成策略和可执行代码以最大化该指标,成功结果用于自我再训练和增量泛化,并通过 GRPO 支持微调以缓解模型崩溃和冷启动问题。系统采用模块化智能体完成环境分析、策略生成与代码合成。

  9. arXiv cs.AI52

    OS-Helix:在原生计算机智能体中统一 GUI 交互与代码执行

    OS-Helix 是一个端到端训练的多模态计算机使用智能体,把 GUI 操作与代码执行统一到同一个动作空间。作者通过应用与文件产物配对构建可执行 Ubuntu 状态,并用解耦的指令与评估器生成流程产出可验证任务,先以 SFT 冷启动、再在真实桌面环境中做在线 RL,并提出按动作步聚合重要性权重的 Step-balanced GSPO。

  10. arXiv cs.AI26

    CodeHealth 能否预测智能体代码审查的 token 成本:一项针对 465 个智能体编写 PR 的预注册研究

    一项预注册研究用 465 个智能体编写的 PR 测试 CodeHealth 能否预测多智能体代码审查的 token 成本,结果显示三个 LLM 的 CodeHealth 系数均为负,每提高 1 点 CodeHealth 对应 token 成本降低 3.5% 至 6.1%。该关联与 PR 规模无关,且调整被评分文件大小后关联消失,研究者将其解释为文件大小的中介效应。

  11. arXiv cs.CL39

    Φ-Bench:大语言模型能否工程化支撑自身运行的基础设施?

    研究者发布 Φ-Bench,一个基于真实 LLM 训练与推理代码库构建的基准,含 85 项任务,覆盖九类 LLM 基础设施,任务形式从 kernel 函数补全延伸到长周期实现与仓库级端到端优化。在八个前沿模型中,表现最强的 Claude Opus 5 仅得 36.53%,且所有模型在长周期仓库级实现上的表现都差于 kernel 级任务。该基准将开源。

  12. arXiv cs.CL27

    X-Alpha:具备记忆驱动自进化能力的 AI 量化研究员

    X-Alpha 是一个将持久研究记忆与假设到代码的持续发现相结合的 AI 量化研究员,通过 Report-to-Memory Abstraction(RMA)把金融报告转化为可执行的研究路径,并借助记忆驱动路由重定向探索。它在中国大陆、美国和中国香港的五个股票指数上评估,以 CSI300 为核心的实验显示其因子质量与信号多样性优于基线,并在多个市场和预测周期上取得一致的生成级增益。

  13. arXiv cs.AI18

    Matoi:面向智能体授权的后果证据选择性重验证机制

    Matoi 将可复用的后果证据与当前执行权限、持久发生历史分离,用有限查询感知契约覆盖分支、有序集合与否定查询。在 1,440 单元匹配线研究中,输入字节相同时复用使 JS 完整生命周期成本降低 3.49%、Python 降低 1.79%;AgentDojo Banking 映射覆盖 5/16 用户计划与 7/9 攻击计划,两种治理策略均保留 5 笔正常转账并拒绝 35 次复用攻击计划/策略交叉。

  14. arXiv cs.AI22

    PriorityFEC:面向边缘多智能体系统 KV-Cache 交接的截止时间感知流式 FEC

    PriorityFEC 是一种面向边缘多智能体 LLM 系统的 KV-Cache 交接方案,通过将高价值 KV 块前置并按接收端反馈调度修复包,在 TTFT 截止时间前保护最有价值的 KV 信息。该方案在分布式边缘 LLM 服务原型上以 Qwen2.5-7B-Instruct 和 Llama-3.1-8B-Instruct 评测,任务质量优于对比传输方案,且在截止时间约束严格时优势更明显。

  15. arXiv cs.CL31

    BASIS:评估交互场景下超越指令的信念感知解决方案

    研究者提出 BASIS 基准,用于评估 LLM 智能体能否推断用户请求背后的心理状态、识别信念与现实的不匹配,并据此给出合适方案。评估显示,当前模型在生成解决方案时往往忽略用户心理状态,而当这类信息被明确引出并提供时,方案质量持续更高。研究还通过通用 CoT 提示词对比、心理状态信息干预、针对性训练和多智能体协作实验,验证了考虑心理状态的实用价值。

  16. arXiv cs.CL40

    MoCo:一站式模型协作研究 Python 库

    研究者推出 MoCo,一个用于大规模执行、评测和比较模型协作算法的一站式 Python 库,涵盖 26 种模型协作方法与 25 个评测数据集。实验显示,多数协作策略在平均 61.0% 的(模型、数据)设定中优于无协作模型,最优方法提升幅度最高达 25.8%。

  17. arXiv cs.AI40

    TRACER:面向医院患者护理的多模态框架

    斯坦福团队提出免训练多模态框架 TRACER,将视频逐分钟动作记录与临床记录合并为小时级报告,并让 LLM 智能体通过工具查询该层级结构、调取相关视频与病历。在 397 段标注视频上动作检测准确率达 84.8%,144 道临床多选题 QA 准确率 61.0%,优于同骨干最强基线的 49.3%。

  18. arXiv cs.CL37

    Librarian Agents:训练 LLM 为未来查询预构建长上下文工作区

    研究者提出 Librarian Agents 框架,让 builder agent 将原始文档转化为合成文件与引用链接构成的分层文件系统,并通过强化学习直接优化下游回答准确率。该方法在 BrowseComp-Plus 上比最强检索与预计算基线高出 33 个百分点,在 BRIGHT 上零样本跨域平均准确率提升 31 点,且构建成本可分摊到多次查询。

  19. arXiv cs.CL30

    WEAVE:将真实世界代码演进织入依赖结构化任务,用于代码智能体的基准测试与训练

    WEAVE 框架将已验证的 PR 历史转化为可执行、依赖结构化的任务,通过仓库校准的类型化变更位点把相关 PR 组织成有界 DAG 并实例化为统一可执行任务。该框架还提出 Graph Credit,一种确定性的、基于测试的指标,用于衡量依赖一致的部分进展,并为强化学习提供稠密可验证奖励。实验表明 WEAVE 能生成连贯的可执行任务,比扁平评分更忠实地衡量进展,并为代码智能体训练提供有效监督。

  20. arXiv cs.AI48

    Screwtape:用对抗性转录编辑对监控器进行红队测试

    研究团队提出 Screwtape 流水线,用 LLM 攻击者编辑真实智能体转录,使 Claude Code 和 Codex 的智能体产生指定危害(如泄露 API key 或生成未被监控的智能体),同时规避仅检测动作的监控器。在 94 份转录、252 次运行中,它生成 35 个通过验证器且逃过自建监控器的攻击,其中 6 个经人工确认有效,还逃过了某前沿开发者提供的留出监控器。

  21. arXiv cs.AI26

    SHRED:无需专家演示的异构道路使用者自博弈框架

    SHRED 通过大规模异构自博弈从随机初始化联合训练车辆、行人和骑行者,无需演示数据或轨迹回放。在 Waymo Open Sim Agents Challenge 上,SHRED 同时控制三类道路使用者,超越无演示自博弈基线和依赖演示训练参考策略的先前自博弈方法;仅用 nuPlan 地图几何训练的策略在 Waymo 零样本评测中保持可比真实感。