System One 模型的顺序不变决策:Runoff 方法
针对 System One 模型在选择题中答案依赖选项顺序的问题,研究者提出 Runoff 方法:先对每个选项单独打分保留少量候选,再让每个候选遍历所有位置进行比较,无需训练、两次前向传播即可完成,构造上保证答案与选项顺序无关。在两个开源模型和五个数据集上,Runoff 在打乱选项后答案零变化,而循环平均法变化达 9.3%;20 个选项时准确率相当且快三到四倍。
针对 System One 模型在选择题中答案依赖选项顺序的问题,研究者提出 Runoff 方法:先对每个选项单独打分保留少量候选,再让每个候选遍历所有位置进行比较,无需训练、两次前向传播即可完成,构造上保证答案与选项顺序无关。在两个开源模型和五个数据集上,Runoff 在打乱选项后答案零变化,而循环平均法变化达 9.3%;20 个选项时准确率相当且快三到四倍。
QORH 将规则头和有序规则体作为以查询关系为条件的超边联合编码,显式建模多个关系间的联合依赖,并用规则置信度、覆盖率等统计证据进行可学习规则选择。模型通过角色感知超图消息传递增强关系表示,共享参数不依赖具体实体或关系标识,可对未见实体和关系做归纳预测。在实体归纳与完全归纳基准上,QORH 显著优于所评估的 SOTA 基线。
研究者提出神经符号图 Transformer(NSGT),通过可学习拓扑偏置将人类推理图(HR-G)融入自注意力机制,并加入可微一阶逻辑(FOL)损失约束原子动作、复合活动、低层意图与高层意图四层本体一致性。
针对自回归模型在长时程轨迹预测中误差累积严重的问题,研究者提出 ReStep,先由随机模型直接预测最终状态,再用 Anchored Diffusion 生成目标条件下的中间轨迹,以两端边界状态约束动力学。该方法被集成进 3D Gaussian Splatting 流程作为物理引擎,在多种刚性与非刚性碰撞数据集上取得更优的长期精度,显著缓解误差累积。
研究提出 SOFA(State-aligned Order-Flow Allocation)订单流合约,由 State Scorer、Commitment Scheduler 和 Quote-to-Flow Allocator 三部分组成,通过配对再适应协议在 ABIDES 市场的 20 个独立训练的交易商群体中测试。
RadixFlow 通过将前缀匹配与状态就绪解耦,把全局扫描屏障变为局部等待,解决混合 LLM 中消费者分支等待生产者循环状态导致的队头阻塞。在五个混合模型上,平均延迟降低 3% 至 24%,worker 轮次减少 11% 至 44%,复用率几乎不变。在更大的 Qwen3.5 模型上,消融显示大部分收益来自遍历,而该遍历在全注意力对照模型上增益很小。
针对全模态大语言模型在音视频干扰下的跨模态幻觉,研究者提出免训练推理时方法 CaRe(Conflict-aware Residual Intervention),通过纯文本模态探针识别候选模态反事实分支,在其预测与原始联合预测冲突时判定为"模态误路由",并利用反事实与融合表示的残差方向引导多模态状态回归相关模态证据。
研究构建了基于机制可解释性的五视角检查协议,对四个家族的八个循环语言模型进行分析,区分了提示仅在循环状态内传递的 carry loops(Ouro、LoopUS)与每次迭代重新提供提示的 re-read loops(Parcae、Raven 家族的 Rec-OLMo 和 Huginn)。结果揭示了循环语言模型在安全性和高效使用方面的关键洞察。
研究者提出决策有效性的时间戳理论与决策账本,用六个时间戳定义一项决策,并以新鲜度上限界定行动时最新证据的保证范围。在五个 8B 至前沿规模的 LLM 上,受控决策流实验验证了四项预测:准确率随路由变化,账本索引决定路由覆盖范围,剩余错误集中在变更何时生效。
前沿实验室用思维链(CoT)监控检测 AI 系统的不当行为,但一项研究证明,即使 CoT 对答案必要,监控失败依然存在,说明"必要/非必要"的二分原则过于粗糙。作者提出四级 CoT 必要性层级,并在三个最低层级上通过干预实验测量可监控性,在困难预测任务上均发现监控失败。在医疗诊断任务中,患者性别和一项临床属性分别影响至少 19% 和 24% 的正确回答,却几乎从未被 CoT 表述出来。
研究团队提出 CompanionSafe 统一框架,包含多轮评估组件 CompanionEval 与护栏组件 CompanionGuard。CompanionEval 基于多样人设、匹配伴侣角色和对话场景构建 1300 个关系化多轮评估设置,覆盖四个轮次层级;CompanionGuard 将基准暴露的失败转化为轮次定位监督,用于伴侣特定风险检测。
研究团队推出 LifeSearch 基准,包含 203 个中英文任务,覆盖 7 个真实生活与生产力领域,并基于超 4500 小时人工标注构建了 4000 多条细粒度评分标准。
研究者发布 AM-Bench,基于 Terminal-Bench 2.0 和 Harness-Bench 改编的 48 个任务,每个任务含一个完整规范参考和六个变体,覆盖目标、上下文与约束的模糊或缺失。
针对候选方案生成规模超出人工评审能力的问题,研究者提出 OSVerify 框架,将错误提出与错误验证解耦,在相同低 FNR 约束下把无效方案的人工评审量较投票基线平均减少 46%,经验证器后训练后提升至 57%。该框架还用于发现已发表论文中的错误(获原作者确认),并协助解决三个 Langlands 开放猜想(获专家确认)。
研究者提出 ResearchFlow-Eval,一个在阶段与主张两个层面评估连续科学执行与迭代的细粒度框架,每项评估以已发表锚点论文为基础生成阶段专属评分标准。对通用智能体框架、技能增强框架及研究专用编排系统的评测显示,实验执行一致落后于设计与规划,重复尝试很少带来可测量的改进,技能增强与研究专用编排均未可靠提升得分。
AReaL-RSI 是一个无需更新骨干 LLM 权重、通过组织持久化智能体研究团队来实现递归自我改进的框架,由 leader agent 选择研究方向、条件记忆共享区分未解决问题与已验证发现。
WorkRover 是一个通过递归环境演化训练长时程协作智能体的框架,其 harness 驱动合成让构建智能体协同生成语义对齐的工作上下文、可执行任务与基于证据的验证器。
研究者提出 Bemula,首个专门评测 LLM 智能体记忆遗忘(memory unlearning)的基准,包含 50 个多轮对话实例、6 类共 135 条遗忘请求和 1742 道测试题。
研究者提出一种基于草图的视觉接地框架,将文本表示转换为视觉地形草图,以可视化文本嵌入并探索其在信息检索与推理中的潜力。在 MS-COCO 数据集上的评测显示,SBERT 在严格 top-1 检索准确率上仍占优,但在 top-5 检索上与草图方法表现相当。将 SBERT 与草图方法级联后优于单独使用 SBERT,表明草图表示若直接在文本上训练,或对信息检索有显著潜力。
受假说-演绎法与科学发现双空间模型启发,SHELDON 将假设空间与观测空间分开表示并联合探索,通过主动寻找当前假设无法解释的新观测来引导新假设生成。在诊断、抽象推理和优化基准上,SHELDON 最高超过基线 26.7 分,并生成最多 4.5 倍的新颖解。
视觉语言模型在深度判断中会系统性地偏向图像平面线索,而非真实深度信息。研究通过深度与线索冲突实验发现,即便模型答错,正确深度顺序仍可从目标物体的视觉表征中解码出来。通过物体级写回强化模型自身的深度读出,可在不更新参数、不使用真值深度标注的情况下纠正冲突判断,但效果因架构和领域而异。
针对 VLM 驱动的 GUI 智能体普遍采用固定记忆表示的问题,研究者系统研究了记忆模态偏好,发现其强烈依赖交互步骤。为此提出 SwitchMem 路由框架,在每一步动态选择文本或视觉记忆表示,在三个 GUI 基准上均优于静态记忆表示基线。
PaceReasoner 是一个无标签的测试时强化学习框架,用模型自身的长推理响应来提升短模式准确率。在三种模型骨干和四个基准上,其短模式平均准确率较基线提升 7.4–13.5 个百分点,平均每条响应少于 25 个推理 token。该方法通过渐进式置信度加权监督融合全响应与仅长响应的一致性,并用行为奖励与比例控制器平衡两种模式。
研究者提出 CoSIR(Collaboration via Surprisal-based Information Rewards),一种后训练方法,通过可验证环境中的贝叶斯评估器,按团队 surprisal 的降低幅度为共享信息和请求打分,并奖励智能体在自身决策中使用队友信息。
ECMR 是一种证据感知控制器,可在冻结的角色条件 LLM 上动态决定提议、质疑、验证、仲裁、多样化、纠正角色或停止。在 MedQA、CaseHOLD、FinQA 共 9,000 条记录的留出评测中,ECMR-Full 将汇总准确率从 62.1% 提升至 84.9%,假共识率从 40.7% 降至 17.0%,证据支持率从 58.0% 升至 88.7%。
研究者提出 Socratic Skill Learning(SSL),让 Educator 引导探究、Student 作为唯一环境操作者与技能作者,交错进行专家教学与练习,以学习可迁移的智能体技能。
研究者提出自适应多智能体控制器 ADMA,在任务模型冻结的前提下学习提案、质疑、仲裁与协调的连续策略。在 Qwen3.5 固定时,ADMA-Full 相比 Direct 提升准确率 6.2-14.2 个百分点,相比 ADMA-Fixed 提升 2.8-3.0 个百分点,但 token 与延迟中位数分别为 Direct 的 14.3-18.7 倍和 7.8-16.5 倍。
研究者提出跨源证据锚定(CSEG)评估框架,用六层决策树覆盖完整搜索轨迹,并构建 CSEG-Bench 与可训练奖励模型。团队基于真实检索文档池重写答案,构建覆盖九条规范路径的 1,160 条已验证轨迹,训练出的 CSEG-RM 在基准上达到 83.9% 精确准确率。仅用该奖励监督冻结检索的答案策略,可将独立评判的平均标签从 2.83 提升至 4.19。
研究者提出 EC2-Bench,一个面向长程 LLM 智能体执行的边缘-云协作基准,包含可执行的数字工作空间任务,并统一评估任务性能、资源占用与隐私暴露。实验发现,协作执行在性能、资源与隐私间取得较好平衡;边缘模型越强,协作表现越接近纯云端,且策略间性能差距缩小,但隐私暴露仍高度依赖策略。边缘能力增强后,首选协作方式从云端外部控制转向边缘主导。
Agentic4PDM 通过 LLM 智能体将信号与各类候选标签参考对比、识别未决差异并提出后续测量,由确定性宿主控制器执行契约校验的门控裁决(CCGA),区分佐证性支持与参考性信息。该框架支持无需任务专用诊断模型的免训练诊断,在轴承与电机诊断挑战及客户提供的未过滤工业测试集上,聚合 macro F1 优于所评估的诊断与智能体基线,消融实验进一步支持受治理工作流的价值。
研究提出 Memory Echo 概念,指同一来源的历史信息在无独立证据下获得的额外检索曝光,并构建 MEchoBench 评估其产生、抗纠正、持续性与对答案的影响。
研究团队提出自动化 3D 视觉-热成像巡检系统 Tricorder,用于光伏面板下方资产检测,结合 LiDAR-惯性 SLAM 与几何标定的 RGB、热成像及机器学习目标检测与分割,将多视角视觉与热成像观测在重建的 3D 环境中空间融合与定位。
研究者提出"结果对齐"概念,要求 AI 智能体将用户指令视为证据而非目标,从指令与环境中推断真实需求。基于 SWE-chat 的 100 条用户-智能体轨迹分析显示,56% 的初始指令遗漏了后续才显现的必要需求,52% 的有用后续需求本可从项目中推断。
研究者提出耦合演化框架,让可执行工具库与模型工具使用策略从同一可验证拟合误差信号中共同改进。工具演化阶段由智能体诊断自身失败来新增工具并修正选择规则,策略演化阶段用约 3B 激活参数的小开源模型在成功工具使用轨迹上微调。
DuplexAct 是评估端到端全双工语音语言模型(FD-SLM)交互动作能力的基准,定义了涵盖 8 种交互动作、24 种交互条件的三级动作分类体系,并通过即时执行与后续跟进两个维度衡量动作是否成功。该基准包含 4,691 个测试实例,覆盖闲聊、会议、客服和访谈场景,其中 2,531 个来自真实对话录音。
研究者提出 STOU 基准,包含 2,902 条第一视角视频-音频与视频-文本查询,按潜在伤害对象分为用户自身(Self)、同场他人(The Others)与社会整体(Others)。该评测将安全理解与拒答行为解耦,除拒答外还考察模型是否识别用户意图、伤害的存在与对象及其后果。在 10 个开源与闭源全模态及多模态 LLM 上,拒答率随伤害对象系统性变化,且模型常识别出风险仍继续提供帮助。
针对长周期智能体任务中基于评分标准的评估易忽略环境状态与执行轨迹证据的问题,研究者提出证据优先的验证器 Sauron,它独立核验每项声明后才采信,并为每个判定附带可审计的证据凭证。
研究发现,LLM 智能体工作流的信息架构——信源访问、交接格式、由哪个模型读取不可信内容——决定协同操纵能传递到终端用户的程度。
针对智能体构建的知识图谱在源被撤回或撤销后难以维护的问题,PolyGraph 要求构建器在生成每个产物时附带“收据”,即声称各自充分的替代源证据包,清理时仅需对收据做集合运算,无需调用模型。在真实撤回场景下,现有流水线仅将受污染查询从 32.2% 降至 28.0%,而按句生成收据的摘要层可将受污染查询降至 0.4% 至 0.8%,同时保留完美维护者 99.8% 至 100% 的召回率。
ECG-RSI 将经验证的波形合成与反馈引导的干预搜索结合,经三轮迭代把 Qwen3.5-35B-A3B 在七个基准上的问答平均准确率从 34.57% 提升至 56.04%,分类平均 F1 从 24.27 提升至 34.03。