FlipAct:衡量语言模型何时行动的敏感度与判定标准
研究者提出 FlipAct,一种针对物理状态下工具使用的诊断方法,用标注工具属性上的规则计算答案与分级证据分数,将 Yes/No 边界固定为零,并通过 2×2 问题组在知识不变时翻转状态。
研究者提出 FlipAct,一种针对物理状态下工具使用的诊断方法,用标注工具属性上的规则计算答案与分级证据分数,将 Yes/No 边界固定为零,并通过 2×2 问题组在知识不变时翻转状态。
研究者提出 Anchor-and-Harvest Curriculum(AHC),一种面向 Craftax-Full 的规则化训练系统,不使用 LLM 推理且保留全部 43 个动作。
Co-DSL 让用户与 LLM 协同设计可复用的空间概念库,用户提供描述后由 LLM 转为初始实现,再通过示例场景观察执行行为并给出轻量反馈,由 LLM 修正概念逻辑。
Sequent-Prover 是一族使用验证器的语言模型智能体,在可执行的 SMT-LIB 草稿本中推理,通过多轮查询 Z3、检查求解器反馈并修复形式化,最终给出显式答案。
研究者提出 EvolvAttack,一种针对自进化 VLM 智能体的"自进化后门"攻击:恶意载荷在初始智能体中休眠,随记忆演化逐步激活。该攻击需视觉触发器与足够演化的记忆状态同时满足,静态扫描干净记忆时攻击成功率近乎为零。在三种 VLM 主干、四种智能体流程及三类记忆演化机制下,攻击在演化前成功率仅 0.5%,100 次交互内超过 95%,且保持正常功能。
PANINI-DR 是一个多智能体深度研究框架,将整体调查协调与子问题研究、验证分离,基于 Generative Semantic Workspace 构建共享工作空间记录子问题、依赖关系、发现与证据。
研究分析 600 条编码智能体轨迹发现,轮次数量解释了日志轨迹成本 84% 的方差,而平均观测大小仅占 4%,最昂贵的轨迹轮次最多但观测最小。98.6% 的输入 token 由前缀缓存提供,扁平定价平均高估循环成本约 7 倍。团队发布 TurnCost 工具,可在不同缓存、定价、压缩和路由策略下重新评分轨迹语料。
一项预注册实验将 148 个三人团队随机分配到五种语言模型使用时间表,发现把同样的 15 分钟使用时间从搜索阶段移到筛选阶段,会让专家评定的创意质量下降 0.62 个标准差。
研究对比人类分析师与 LLM 智能体的软件逆向工程能力,GPT-5.5 Pro、Claude Opus 4.8 和 Kimi K3 在两项静态分析任务上达到与人类统计上相当的理解水平,较弱模型则差距明显。
研究者提出 Last Secure Code Benchmark,用 150 个真实漏洞构建 450 个任务,覆盖 Java、C、C++、JavaScript。
针对长时程交互任务中稀疏终端奖励难以提供中间动作信用信号的问题,研究者提出 PTGPO(Prefix Tree Group Policy Optimization),一种无需 critic 的方法,在锚点状态组内对轨迹后缀构建前缀树,以子节点与父节点经验平均回报之差作为每条树边的信用。
研究者提出自学习运维智能体 SDO,通过将已解决故障的经验蒸馏为可复用的 playbook 和检测器脚本,让 LLM 智能体随处理事件增多而持续改进,而非每次从零排查。SDO 持续运行检测器,仅在其触发时调用 LLM,因此 token 成本随事件数量而非运维时长增长。在 11 个开源微服务应用上,SDO 将复发性故障的解决时间缩短 52%,并保持较低的单次事件成本,代码已开源。
NeST-Bayes 是一个神经符号框架,仅凭机器人间观测一致性即可联合推断机器人与物体假设的信任度,无需预设信任关系、声誉信息或侧信道身份信号。它通过自我中心关系图推理出瞬时信任证据分数,并用 Beta 分布信任信念的贝叶斯更新实现时序一致的信任估计。
针对工具型智能体鲁棒性测试中"改动后的用例是否仍属同一任务"判定薄弱的问题,研究者提出可执行任务契约,在智能体运行前声明任务定义事实、允许的编辑和完成标准并逐例校验。
研究者提出 Jevolution,一个带监测的空间捕食者-猎物框架,将演化中的世界、异步请求调度、控制器适配器和实验记录分离,用 ODD 协议描述局部观测、能量与资源约束、预定义信号和可继承标量性状等机制。
研究者提出 IMPRINT,一种策略无关的潜在记忆框架,为 VLA 模型加入多流记忆而不显式约束策略该记住什么。它把不同信息流压缩为推理时增量更新的潜在记忆,并采用两阶段训练:先监督记忆重建观测、动作、本体感受等过去信息并估计任务进度,再与策略联合端到端微调。在仿真和真实记忆任务上,IMPRINT 平均成功率比基础 VLA 至少提升 26%,推理延迟在记忆增强 VLA 中最低。
研究发现,面对功能与漏洞完全相同但代码写法不同的真实提交,AI 智能体在漏洞分析中的表现差异巨大,该现象在多个代码领域和漏洞类别中一致出现。团队从真实代码提交中挖掘开发模式构建自然变换语料,结果显示仅一种变换形式就能有效"迷惑"前沿智能体,如 Codex 搭配 GPT-6 Sol,降低其漏洞发现成功率。研究还考察了智能体的不同失败模式、变换组合能否提供更强防护,以及试图逆向变换的自适应攻击者。
研究提出 Agentic Data Engineering(ADE)框架,让 AI 智能体利用累积实验反馈自主提出、修正或组合数据工程研究方向,策略经循环内评分筛选后在留出基准上评估。
研究提出面向 GUI 智能体的潜在世界动作模型,将预测目标从全屏像素重建转为潜在空间中动作引发的未来信息,用一个大模型共享表示驱动动作选择与转移预测两个专用头,并引入动作感知对比目标缓解身份捷径问题。在离线与在线 GUI 设置中,该方法成功率相对像素空间世界模型分别最高提升 31.9% 和 40.6%,推理延迟最高降低 98.9%。
Cortex 是一款对编码智能体 harness(项目文件、技能与规则)的改动先测试再采纳的工具:把开发者会话中的修正保存为可重放任务,逐条写入技能或规则,仅在重复运行显示净收益且无任务明显变差时保留,删除前同样测试,且不增删智能体从未使用的文本。
该研究提出一种硬件感知的 LLM-VLM 操作框架,在 NVIDIA Isaac Sim 中驱动模拟 Franka Research 3 机器人完成零样本任务规划。
研究者将 CIMemories 扩展为 CIMEMORIES DIALOGUE,一个基于 Contextual Integrity 理论的 4,410 组双智能体对话基准,并据此评估 Qwen3 与 Llama 3.1 家族的 7 个开源权重模型。结果显示任务能力与隐私泄露根本耦合:能力越强的模型泄露越多,思考型模型比非思考型泄露更多,对话从 1 轮增至 6 轮时泄露最高上升 3 倍。
CoEvoke 是一个跨域框架,通过可控扰动制造可恢复的困难、并用受限参考引导调查,在轨迹收集阶段激发多智能体的检查、反馈与修复交互。该数据集包含 4,130 个软件工程与推理任务上的 4,567 条可重建轨迹;在 2,287 对同任务实验中,七个扰动组的反馈提升达 47.72-100 个百分点。
研究者提出 RoboHarness,一个为 LLM 智能体提供视觉-几何控制面板的机器人框架,使其能直接理解并调用具身任务。作者称借助该框架,Qwen3.8-Flash-Next 在 BEHAVIOR Challenge 2025 任务上超越了当前最先进的 VLA 模型,实现将开源。论文认为编码智能体有潜力实现通用具身操作,无需按传统路线收集机器人动作数据并训练大规模 VLA 模型。
VH-GPO 通过结果验证的师生交接机制,在教师修复学生失败轨迹后选择最早可独立确认的交接点,让成功经验重新由学生生成。在 Qwen2.5-1.5B 上,ALFWorld 成功率从 GRPO 的 59.38% 提升至 94.79%,WebShop 从 71.62% 提升至 77.34%,7B 学生同样有效。
研究者提出可编辑的 Improvement Dynamics Model(IDM),让自进化智能体在评估前预测修改的任务级结果并指导修订,评估后再用历史修改与结果迭代改进 IDM。基于 HyperAgents,该方法在多语言编程、论文评审、机器人奖励设计和奥赛级数学评分四个领域均优于 HyperAgents,平均性能提升最高达 46%,且在匹配 token 预算和留出任务上依然有效。
研究者提出激活条件选择性知识控制方法,通过神经元级梯度操作让 GUI 智能体在应用流上持续学习:对未激活神经元截断梯度以防干扰,对激活神经元做正交投影以兼顾稳定与适应,并在每阶段合并新识别的关键神经元。在多应用顺序基准上,该方法有效缓解了对旧应用的灾难性遗忘,同时保持对新应用的适应能力。
一项 arXiv 综述提出 Physical Recursive Self-Improvement(Physical RSI)概念,即物理经验能持续更新机器人能力及其改进流程,使后续改进更高效。
研究提出 Harness 自进化框架,在保持模型权重不变的前提下,对智能体的提示词、记忆、工作流和可执行组件等软件脚手架进行修订,并让被接受的修订跨运行持久化。
BLADE 是一个免训练框架,通过审计多智能体系统中决策对来源信息的使用方式,区分错误引入、传播与修复,从而定位责任智能体和关键错误步骤。在 Who&When 与 Who&When Pro 五个子集的 1228 条失败运行上,其步骤准确率在八种策略中达到最佳或并列最佳,较 All-at-once 高出 2.2-11.1 个百分点。
针对竞赛编程中官方评测不提供失败解释的问题,研究者构建了 USACO-JUDGE 基准,并训练出 35B MoE 智能体验证器 ARBITER,仅凭题面与源码即可评判并诊断候选程序,用生成的反例作为可验证证据。
论文提出 Grounding Awareness,即智能体在选取动作时区分已接受、未确认、已修改和有范围限定的安排的能力,并构建受控基准测试。测试发现,记忆表现强并不保证具备该能力,提供更完整的用户信息反而会增加未确认提案的执行,持久记忆还会让智能体把这类提案当作用户指令。
研究在含三种致命需求的觅食网格世界中对比主动推理智能体的两种内感受优先化干预:提高精度可锐化内感受后验并提升存活率,偏好重加权则使身体状态远离致命边界并改变学习状态。在72个额外布局上的实验未能证实偏好重加权在困难布局上的预期收益,但两种干预均提升平均存活率且交互为正。仅凭存活率无法完整刻画模型如何优先化需求并学习身体模型。
研究者提出一种按多步任务最终结果校准 LLM 智能体置信度的方法:在 GRPO 下用同一任务的一组 rollout 提供成功标签,并用恰当评分规则对每步置信度打分。
研究审计了时点(PIT)语言智能体在 48 个历史公司对比任务中是否会利用截止日期后的未来事实。Qwen 和 DeepSeek 均能回忆未来事实,但都未出现预设的偏向记忆更好公司的证据分配偏移。
研究在涵盖客服策略、工具调用、网页导航与编程的冻结基准上,为每个下一步动作问题配对同一状态的事实探针,测试了十七个快速 System One 模型与一个推理模型。结果显示多数错误动作发生在正确读取之后,且系统越准确,这类错误占比越高;当探针事实可证明决定动作时,读全事实的模型仍无法组合它们,而用代码组合模型自身答案可修复该失败。真实状态中缺失的往往不是事实,而是下一个子目标。
研究者提出结构化配方优化(SRO),用 LLM 驱动的 Recipe-Space Designer 构建任务自适应配方空间,再由 Multi-Domain Recipe Optimizer 结合结构化试验证据与多目标贝叶斯选择进行联合优化。
研究发现 LLM 智能体的技能路由崩溃:在 SkillsBench 任务和黄金技能固定不变的情况下加入无关技能,加载技能召回率从 73.6% 降至 27.4%,零加载率从 9.3% 升至 51.6%,而显式预选仍保持 73.9% 召回率。仅遮蔽无关技能的描述可基本恢复技能加载,表明存在描述层面的语义干扰与技能选择同任务执行之间的指令干扰。
研究发现,LLM 工具调用评审器在输入中缺少参考文本时,会降低对正确参数值的接受率,这一现象被称为“推导鸿沟”,在包括 CLM 和 Jev 在内的全部七款评审器上均出现。
基于 Qwen3.5-9B 训练的终端智能体 ReTerm-9B 在 Terminal-Bench 2.0 上达到 34.8% Pass@1,较基座模型提升 14.6 分。研究团队构建 ReTerm-10K 数据集用于 SFT 冷启动,并提出在线 RL 算法 ReTerm-GRPO,从智能体自身失败状态分叉生成多次独立自我恢复尝试,依据任务是否完成进行学习。代码、数据与模型均已开源。