ToolBottleneckBench:在受控压力与固定 harness 预算下测量工具智能体表现
研究者发布 ToolBottleneckBench,在固定 harness 预算下测量工具智能体在受控压力下的表现,任务保持不变、每次只改变一种压力:注册工具目录、可见工具菜单、认证工作流或返回记录编码。
研究者发布 ToolBottleneckBench,在固定 harness 预算下测量工具智能体在受控压力下的表现,任务保持不变、每次只改变一种压力:注册工具目录、可见工具菜单、认证工作流或返回记录编码。
研究者发布 OmicsBench,一个面向 AI 智能体的长周期多轮生物信息学基准,97 个任务通过有向无环图串联 662 个子任务,每个子任务对应一轮用户输入并确定性评分。
研究者从 2022 年前的 arXiv LaTeX 源码中选取人类撰写的证明与散文段落,用 15 个现代 LLM 在同一论文语境下重新生成,构建了 LaTeX 源码、PDF 渲染图像和 PDF 提取文本三种表示形式的配对数据。
研究在 NAQD-Env 合成环境中用 LoRA 微调 Qwen2.5-3B-Instruct,比较原始与增强课程对选择性撤回能力的影响。在 naqd 提示下,SFT 检查点的决策一致率达 0.77-0.92、撤回召回率 0.46-0.86,而三个基线仅为 0.45-0.63 和最高 0.06。
研究者提出 SHIP(Structured and Hierarchical Insight with Privacy),将差分隐私(DP)洞察定义为可复用表示,用于回答分析查询并统一评估其效用。
针对 GRPO 在整组 rollout 全部失败时既无成功样例也无非零组内优势、学不到东西的问题,研究者提出 Replay-Selected Hindsight Distillation(RSHD),让策略在不看参考答案的情况下为每次失败写纠正笔记并带笔记重解,仅当回放成功率高于原组且笔记未泄露答案时才采纳,并将采纳的回放蒸馏回纯提示词策略。
研究者提出 ReviewFact 基准,在 NLP、机器学习与自然科学领域用统一定义标注评审意见中的事实错误,并同时衡量成本与延迟。PremiseCheck 框架让 LLM 在不读论文的情况下把每条评审意见改写为显式前提,再由决策模型逐条对照论文核查。单条核查时,其在三个领域准确率与 GPT-5.5 相当而成本约为一半,NLP 评审上成本降至四分之一、延迟不到一半。
研究对比 PPO、A2C、DQN 各带有/无动作掩码共六种 DRL 方案,在两条真实 Slurm 负载轨迹、十个随机种子上与三种启发式及掩码均匀随机对照进行评测。
研究团队开发了对话式多智能体系统 ReviewPilot,将 PRISMA 流程从论文筛选自动化到信息提取,每条筛选决定附带理由、每个提取值标注来源。在流行病学专家综述上,ReviewPilot 在三种 LLM 上均优于单提示词 LLM 和 AgentSLR,筛选 macro F1 最高 0.776,提取 F1 最高 0.788。
研究者提出 Modality Self-Play(MSP),一种基于代理中介模态组合的多模态基础模型训练框架,无需真实配对跨模态数据即可实现零样本模态组合。MSP 利用锚定模态的代理文本描述作为语义桥梁,让模型在推理时整合并推理多种模态,在多个多模态基准上达到 SOTA 或具竞争力表现。消融实验显示,学习到的桥梁改善对齐,代理描述支持有效的跨模态组合。
研究者提出参数轨迹交叉编码方法,仅用检查点权重即可追踪语言模型读出层(unembedding matrix)的学习过程,发现模型隐藏状态能在自身读出层表达任务信息之前就已编码这些信息。
研究提出训练框架 ASPO 与步级推理护栏 StepSafe,通过前缀级阶段对齐和自适应反馈自蒸馏,让模型在风险可见前继续、在澄清仍可避免伤害时提问、在伤害不可逆前停止。StepSafe 在五个智能体安全基准上取得开源护栏 SOTA,4B 版本 Youden's J 达 53.0,对比 46.2。
研究提出用"关键分歧点"(crux)刻画 LLM 决策依据,即模型多次 rollout 之间产生分歧、改变其取值可能改变结论的子问题。作者比较三种成本递增的策略:直接让模型先验预判、单次生成后提取、以及多次生成对比提取,后者借助 reranker 实现,算力约为 judge 的 1/86。
LEV 是一种通过循环重跑网络层而非生成 token 来加深推理的决策模型,基于以循环方式预训练的语言模型,每步循环后读取选项并联合训练所有步骤,使同一权重可在任意深度作答。
研究提出用合并选择率标准差(pooled SD)统一衡量多选题评估中的选择偏差与顺序敏感性,该指标可分解为翻转率与位置偏斜两个无标签因子。
MAI-Gym 是一个开源一体化平台,统一移动、电脑和网页环境下的 GUI 智能体评测、数据采集与在线 RL 训练,支持十项基准并扩展到 20000 个并行环境实例。
研究在五个 benchmark 的 1,514 个长周期任务上,用七款 LLM 分析语义层、编排、压缩三种上下文工程技术单独及组合的效果。无这些技术的数据智能体分为调查者、过早作答者和提前放弃者三类行为组,每种技术只有匹配对应行为组才能转化为准确率提升;对调查者反而有害,编排会使其过度自信并损失 5 个百分点。
研究者提出 RAC,一种与 harness 无关的工程智能体动作与反馈层契约,由智能体决定工件应满足的关系,专用工具推导具体几何或时序结果。
针对长程 LLM 智能体的上下文压缩问题,研究者提出免训练的后处理步骤 Source-Judged Compaction(SJC):用非生成式决策模型 Jev 为摘要中每条内容打分,判断其是否有环境输出或上一版摘要作为来源,并删除无来源条目。
SkillNEO 用非精英进化优化 LLM 智能体技能,将 GPT-5.4 Mini 在 86 项 SkillsBench 任务上的平均奖励从 49.1% 提升至 66.4%,覆盖软件工程、办公等八个领域。
研究构建了 MorphAustro-Tok 分词器,将 Tagalog 词根作为连续单元输出并附加位置中缀 token,在 33 次运行中相比语料匹配的 BPE 基线在句级 chrF++ 上平均提升 0.84、1.49 和 3.40 分。
研究者用算法信息论形式化定义了组合结构:当各部分放在一起时揭示出单独建模时无法捕捉的共享结构,组合结构便由此涌现。该定义可跨尺度定位组合结构在对象中的出现位置,并借助可处理近似反推框架,在字符串和图像上直接优化生成具有层级复用与部分-整体组织的对象。研究还讨论了其对机器学习的启示,包括神经网络架构深度的新视角与构建组合数据课程的原则。
研究者推出首个音素错误检测(PED)基准 PEDBench,涵盖儿童真实发音错误(N=334)、演员脚本化错误(N=1,188)和 phone-conditioned TTS 合成错误(N=1,083),全部标注经两名音素训练标注员核验。
CoTranslator 通过将反向 CoT 响应翻译为经过验证的正向响应分布,实现高效推理蒸馏。在六个数学基准上,它比语义抑制方法平均准确率最高提升 5.82 个百分点;对两个 4B 学生模型,以 35.9% 的估算算力保留了拒绝采样 95.0% 的平均准确率。
研究者提出一种基于 ASP 的声明式混合框架,用于复杂动态环境中交互运动的预期推理,整合了交互轨迹动力学 ASP 模型、语义引导的"分支轨迹未来"预测,以及基于能量的优化模型来评估、排序和过滤预期结果。
研究者发布 0.6B-14B 开源权重模型,通过指令微调、偏好对齐与模型合并适配沃洛夫语。在 63 个公开与内部任务上,模型在沃洛夫语理解与生成上表现良好,8B 和 14B 版本可与规模大得多的商业系统竞争。模型正用于内部客服试点,并已公开可用。
论文指出技能-策略协同演化存在被忽视的脆弱性:现有方法用协同训练时的技能库评估策略,但部署后技能漂移会使策略失效,且漂移敏感度随训练推进而上升。为此提出面向部署的评估协议 CODA,模拟技能漂移并引入语义保持编辑下的一致性率与损坏技能抵抗率两项指标。在四种协同演化方法和五个基准(六种设置)上,最差情况成功率比交付技能库的峰值低 5-13 分,抹去其相对无技能基线增益的 52-93%。
研究将评估器引导推理建模为计算感知的三动作控制器,在信任当前答案、回退与继续扩展之间做选择,并按预测答案成功率与基于 rollout 的延续成功代理打分,显式计入计算成本。在留出的宽度扩展与修订任务上,该控制器相比校准选定的固定策略提升了观测效用,同时将归一化在线计算量分别降低约 30% 和 16%。在四个 Qwen3-8B 随机种子上,两种设置的计算量均低于拟合 Q,效用差异较小且方向不一。
研究团队提出 PRISM 框架,评估激活干预在精度、语言和规模上的迁移能力。用 NF4 量化副本的行为标签可在极少场景下稳定估计干预方向,五语言 NF4 监督方向无需目标语言微调即可迁移至阿拉伯语,将 Llama-3.1-8B 的不安全违规降低 21.95 个百分点,并借助配对良性激活迁移至最大 70B 参数的模型。实验代码与交互式结果浏览器已公开。
研究者提出 Temporal Specification Guidance(TSG),一种免训练的推理时框架,将时序逻辑规范转化为可执行目标来引导视频生成采样。该框架用可微定量语义对视觉概念证据轨迹打分,并以梯度构建规范引导的去噪方向,增强 CFG。在覆盖 11 类时序约束的 220 条提示词基准上,该方法在五个模型上将规范满足准确率较 CFG 提升 9.5-20 个百分点,且内存开销极小。
研究者推出 APRiL,一个面向中文社交意识的开源基准,包含 2,196 个社交意识评估实例,覆盖六类场景与社交场景分析、社交意识回应两项任务。在来自六个模型家族的 12 个模型上测试发现,模型普遍存在"理解到回应"的落差,高质量场景分析能提升回应质量,而弱分析可能拉低回应质量。数据与代码已公开。
一个冻结模型通过内外双层循环,在无奖励、无评判模型、无答案键的条件下生长出自己的 DSL 算子,实现精确问答。内层循环仅在两个独立编写的表达式对每条记录一致时才作答,将可回答问题集扩大约三倍;外层循环自主发现缺失能力并编写算子,仅在独立第二实现一致且结果满足守恒律时接纳。
开源编码器 Verdict-MQ 只需读取一次状态即可回答全部问题:结构化注意力掩码让状态编码与问题无关、问题之间互不影响,且选项顺序天然无关。
研究在 HotpotQA 和 MuSiQue 上对比 gpt-oss、Gemma4、Qwen3 三个模型族,发现将答案生成改为独立调用而非延续模型自身思考,可使模型遵循当前证据的比例提升 29.9 至 60.6 个百分点。
研究者从全双工语音语言模型自身对话中提取出一个晚期层残差流方向——"主动性向量",无需训练或标注即可读取并调控模型的说话决策,提前最多 800 ms 预判话轮起始。生成时缩放该向量可将语音占比从 6-12% 提升至 42-61%(不干预时为 21-30%),且跨对话、权重和语料保持一致。仅需一段简短参考录音即可将说话人的轮流说话风格迁移给模型,换用他人参考时 93-98% 的情况下匹配变差。
研究者提出 EvolvingBrain,用自适应技能系统驱动多模态智能体在开放世界中自进化,包含分层技能自进化与状态感知自适应执行两部分。前者从模型轨迹中提取过程模式与问题模式,生成技能并形成由 Domain、Plan、Action/Trap 技能组成的分层技能架构;后者将长程交互总结为结构化摘要记忆,指导状态感知技能融合策略。
少样本 LoRA 端侧个性化会降低虚拟助手的开放集(OOS)拒绝能力:在五个公开意图分类基准上,OOS 拒绝 AUROC 平均下降 0.055–0.258,而域内准确率保持不变。
研究提出开放世界 AI 需满足三项要求:推理时学习、丰富表征与预测性解耦,并将任务建模为共享潜在因子、分解训练目标推导得出。在最高 8B 的语言模型上验证显示,满足要求的模型会随相关任务数据积累而提升,其余模型则退化,且扩大规模或层类型交错都无法修复。分析还预测了一致内部学习者的必要性以及跨相关任务长上下文的收益。
研究者提出免训练框架 CoTS,将隐式推理干预从二元模式选择改为 token 级的连续分配,利用两个最可能候选 token 的概率竞争动态平衡离散承诺与软探索。候选明显占优时保持接近采样离散 token 以稳定推理轨迹,竞争加剧时则提升软表示贡献以保留备选路径。该方法无需人工设定切换阈值或混合系数,也不增加额外前向计算,在六个推理基准上持续优于标准 CoT 及当前最优的免训练隐式推理方法。
研究者提出 ARIA 框架,让紧凑模型学会在多智能体系统执行过程中判断何时干预、如何修正。团队从四个多智能体框架、六个基准、八种宿主模型收集超 24,000 条轨迹,构建了含 3,953 对执行验证修复的 ARIA 数据集,用于训练模型识别失败并给出修正方案。该模型在事后与运行时修复中均表现良好,并可泛化到未见过的框架和宿主模型,代码已开源。