输入条件搜索 ICS:递归推理器的高效测试时扩展方法
研究者提出 Input-Conditioned Search(ICS),无需额外训练,通过对输入条件进行搜索,为同一潜在状态诱导出不同的更新映射,从而探索多样化推理轨迹。在六项推理任务上,ICS 取得最高平均准确率,所需模型 FLOPs 比所评估的扩展基线最多少两个数量级。理论分析与数值验证表明,ICS 能在局部消除错误的吸引不动点。
研究者提出 Input-Conditioned Search(ICS),无需额外训练,通过对输入条件进行搜索,为同一潜在状态诱导出不同的更新映射,从而探索多样化推理轨迹。在六项推理任务上,ICS 取得最高平均准确率,所需模型 FLOPs 比所评估的扩展基线最多少两个数量级。理论分析与数值验证表明,ICS 能在局部消除错误的吸引不动点。
研究团队提出 LR-Guard(Latent Reasoning Guardrail),通过将冻结教师模型对安全与不安全提示词解读的分析蒸馏为紧凑潜在表示,联合训练安全预测与教师显式推理轨迹重建,无需为每次决策生成中间文本即可提供可读解释。
在 TCMEval-SDT 中医辨证基准(200 例)上,约束大语言模型可审计决策的是输出纪律与推理结构而非模型能力:两年模型扩展仅让零样本分数变动 -0.03 至 +0.08。
针对标准广播式多智能体辩论(MAD)中智能体无需回应特定同伴观点的问题,研究者提出 TrueMAD——一种与骨干模型无关的测试时插件,在答案广播与自我修订之间引入一对一、自由形式的同伴建议,源智能体通过支持、反驳、改进或追问回应目标智能体的当前推理。
针对 System One 模型在选择题中答案依赖选项顺序的问题,研究者提出 Runoff 方法:先对每个选项单独打分保留少量候选,再让每个候选遍历所有位置进行比较,无需训练、两次前向传播即可完成,构造上保证答案与选项顺序无关。在两个开源模型和五个数据集上,Runoff 在打乱选项后答案零变化,而循环平均法变化达 9.3%;20 个选项时准确率相当且快三到四倍。
QORH 将规则头和有序规则体作为以查询关系为条件的超边联合编码,显式建模多个关系间的联合依赖,并用规则置信度、覆盖率等统计证据进行可学习规则选择。模型通过角色感知超图消息传递增强关系表示,共享参数不依赖具体实体或关系标识,可对未见实体和关系做归纳预测。在实体归纳与完全归纳基准上,QORH 显著优于所评估的 SOTA 基线。
研究者提出神经符号图 Transformer(NSGT),通过可学习拓扑偏置将人类推理图(HR-G)融入自注意力机制,并加入可微一阶逻辑(FOL)损失约束原子动作、复合活动、低层意图与高层意图四层本体一致性。
针对自回归模型在长时程轨迹预测中误差累积严重的问题,研究者提出 ReStep,先由随机模型直接预测最终状态,再用 Anchored Diffusion 生成目标条件下的中间轨迹,以两端边界状态约束动力学。该方法被集成进 3D Gaussian Splatting 流程作为物理引擎,在多种刚性与非刚性碰撞数据集上取得更优的长期精度,显著缓解误差累积。
RadixFlow 通过将前缀匹配与状态就绪解耦,把全局扫描屏障变为局部等待,解决混合 LLM 中消费者分支等待生产者循环状态导致的队头阻塞。在五个混合模型上,平均延迟降低 3% 至 24%,worker 轮次减少 11% 至 44%,复用率几乎不变。在更大的 Qwen3.5 模型上,消融显示大部分收益来自遍历,而该遍历在全注意力对照模型上增益很小。
针对全模态大语言模型在音视频干扰下的跨模态幻觉,研究者提出免训练推理时方法 CaRe(Conflict-aware Residual Intervention),通过纯文本模态探针识别候选模态反事实分支,在其预测与原始联合预测冲突时判定为"模态误路由",并利用反事实与融合表示的残差方向引导多模态状态回归相关模态证据。
研究构建了基于机制可解释性的五视角检查协议,对四个家族的八个循环语言模型进行分析,区分了提示仅在循环状态内传递的 carry loops(Ouro、LoopUS)与每次迭代重新提供提示的 re-read loops(Parcae、Raven 家族的 Rec-OLMo 和 Huginn)。结果揭示了循环语言模型在安全性和高效使用方面的关键洞察。
研究者提出决策有效性的时间戳理论与决策账本,用六个时间戳定义一项决策,并以新鲜度上限界定行动时最新证据的保证范围。在五个 8B 至前沿规模的 LLM 上,受控决策流实验验证了四项预测:准确率随路由变化,账本索引决定路由覆盖范围,剩余错误集中在变更何时生效。
前沿实验室用思维链(CoT)监控检测 AI 系统的不当行为,但一项研究证明,即使 CoT 对答案必要,监控失败依然存在,说明"必要/非必要"的二分原则过于粗糙。作者提出四级 CoT 必要性层级,并在三个最低层级上通过干预实验测量可监控性,在困难预测任务上均发现监控失败。在医疗诊断任务中,患者性别和一项临床属性分别影响至少 19% 和 24% 的正确回答,却几乎从未被 CoT 表述出来。
针对候选方案生成规模超出人工评审能力的问题,研究者提出 OSVerify 框架,将错误提出与错误验证解耦,在相同低 FNR 约束下把无效方案的人工评审量较投票基线平均减少 46%,经验证器后训练后提升至 57%。该框架还用于发现已发表论文中的错误(获原作者确认),并协助解决三个 Langlands 开放猜想(获专家确认)。
研究者提出一种基于草图的视觉接地框架,将文本表示转换为视觉地形草图,以可视化文本嵌入并探索其在信息检索与推理中的潜力。在 MS-COCO 数据集上的评测显示,SBERT 在严格 top-1 检索准确率上仍占优,但在 top-5 检索上与草图方法表现相当。将 SBERT 与草图方法级联后优于单独使用 SBERT,表明草图表示若直接在文本上训练,或对信息检索有显著潜力。
受假说-演绎法与科学发现双空间模型启发,SHELDON 将假设空间与观测空间分开表示并联合探索,通过主动寻找当前假设无法解释的新观测来引导新假设生成。在诊断、抽象推理和优化基准上,SHELDON 最高超过基线 26.7 分,并生成最多 4.5 倍的新颖解。
视觉语言模型在深度判断中会系统性地偏向图像平面线索,而非真实深度信息。研究通过深度与线索冲突实验发现,即便模型答错,正确深度顺序仍可从目标物体的视觉表征中解码出来。通过物体级写回强化模型自身的深度读出,可在不更新参数、不使用真值深度标注的情况下纠正冲突判断,但效果因架构和领域而异。
PaceReasoner 是一个无标签的测试时强化学习框架,用模型自身的长推理响应来提升短模式准确率。在三种模型骨干和四个基准上,其短模式平均准确率较基线提升 7.4–13.5 个百分点,平均每条响应少于 25 个推理 token。该方法通过渐进式置信度加权监督融合全响应与仅长响应的一致性,并用行为奖励与比例控制器平衡两种模式。
ECMR 是一种证据感知控制器,可在冻结的角色条件 LLM 上动态决定提议、质疑、验证、仲裁、多样化、纠正角色或停止。在 MedQA、CaseHOLD、FinQA 共 9,000 条记录的留出评测中,ECMR-Full 将汇总准确率从 62.1% 提升至 84.9%,假共识率从 40.7% 降至 17.0%,证据支持率从 58.0% 升至 88.7%。
研究者提出自适应多智能体控制器 ADMA,在任务模型冻结的前提下学习提案、质疑、仲裁与协调的连续策略。在 Qwen3.5 固定时,ADMA-Full 相比 Direct 提升准确率 6.2-14.2 个百分点,相比 ADMA-Fixed 提升 2.8-3.0 个百分点,但 token 与延迟中位数分别为 Direct 的 14.3-18.7 倍和 7.8-16.5 倍。
针对 GUI 智能体强化学习结果奖励稀疏的问题,研究者提出自适应分组过程奖励框架,将 GUI 轨迹动态划分为语义连贯的子目标组,在动作级和组级同时估计过程奖励,并用其增强 GRPO 的结果优势以提供更细粒度训练指导。在过程奖励基准和下游 RL 训练上的实验验证了该框架的有效性。
MedEvo 利用医学标签分类与错误类型诊断来导航轨迹修复和数据选择,仅靠 SFT 即将 Qwen3.5-9B 在七个基准上的平均准确率从 65.57% 提升至 69.12%,其中 MedXpertQA-MM 从 47.40% 升至 54.50%,超过教师蒸馏 SFT 的 66.93%。
研究者提出 Token Window Pacing(TWP),一种闭环调度框架,利用 ITL、队列深度和工作负载特征的运行时反馈,在 token 级而非 batch 级调节请求准入,并结合分块 prefill 减少新请求对解码的干扰。
研究者推出 RoTA-Bench,通过交互式 3D 到 2D 投影对齐评估视觉语言模型的 3D 空间推理能力,包含 674 个任务及 100 个分层测试任务。GPT-5.6-Sol 仅完成 17% 的任务,而 20 名本科生参与者以 100% 成功率集体完成测试集四次。在相同状态下,模型比人类更常出现轮廓重叠改善但姿态对齐变差的情况(19.4% vs. 10.9%)。
研究固定一个 27B 韩语企业模型,比较策略决策用生成 JSON 还是单个受限 token、以及是否先推理。在 2800 条分布内样本上两条部署路径准确率无差异(93.46% vs 94.14%),但重启稳定性相差约十倍(动作翻转 3.00% vs 0.29%)。在 300 条由隐藏可执行策略标注的封存基准上,推理带来 +17.3 分的精确动作提升;关闭推理时两种接口格式差异为 0.0 分。
OpenDepth 是一个鲁棒开放世界单目深度估计框架,通过复用 Image-to-Image(I2I)模型的结构保持编辑先验,将开放世界深度估计建模为跨多风格图像的一致几何推理。该方法在 DiT 浅层特征对齐并引入联合 RGB 潜变量重建任务,以解耦环境风格干扰。在标准与极端天气基准上,OpenDepth 刷新了鲁棒零样本深度估计的 SOTA 记录。
UCoE 是一种无训练方法,让可执行验证器程序与智能体的 harness 状态协同演化,所有模型参数保持固定。它通过合成候选验证器程序并在响应对比上测试,选取最弱对比族区分度(驱动容量)最高的候选。
TacitVLA 是一种推理型 VLA 模型,其动作专家不会关注当前调用生成的推理文本,因为推理监督本身已改善骨干表示,从而无需等待自回归解码。在 RoboMME、RMBench、LIBERO 和 PhysicalAI-AV 四个基准上,它以最高 3.4 倍更低延迟匹配显式推理版本性能,并以最高 +17.1% 成功率匹配无推理架构的延迟。
一本 342 页的强化学习教材《Learning to Play: Reinforcement Learning and Games》在 arXiv 发布,系统梳理了国际跳棋、西洋跳棋、国际象棋、Atari、围棋、扑克和 StarCraft 等游戏中的强化学习突破。
EPOCH 将实例覆盖作为进化搜索目标,并通过经验偏好优化让生成器内化反思,用于 LLM 自动启发式设计。它让父代选择、算子分配与停滞恢复都围绕启发式对训练实例的联合覆盖优化,从而返回互补的启发式集成;教师 LLM 提供自然语言洞见,改进结果进入 DPO 偏好对,并以反思式自蒸馏(RSD)项提升自主生成概率。
研究者提出 Scenario-Actor,一个可解释的温度选择框架,从 Transformer 隐藏状态中提取场景相关结构,用场景嵌入这一几何表示来决定解码温度。在 Llama-3.1-8B-Instruct 上,该方法在交互式社交场景目标完成、开放式指令跟随上取得显著提升,多轮对话表现与多个基线相当。
研究测试 OLMo-3-7B-Instruct 在双客户环境中共享对话记忆时的表现,模型在 22% 的合格决策中偏离当前客户目标。线性探针显示客户目标归属在中间层高度可恢复并集中于特定注意力头,消融竞争对手的缓存目标表征可将模型拉回当前客户,且效果强于随机头和非目标 token。
针对语言模型智能体删除上下文后 KV 缓存仍受旧内容影响的问题,研究者提出预算化 KV-Cache 修复,即只重算保留后缀中用户指定比例的部分来恢复任务性能。其 Semantic-Unit Refresh(SUR)方法用低成本嵌入分数把预算分配给查询相关的文本区域,无需训练或额外 Transformer 前向。
研究者提出 mini-Lean-agent,一个仅向模型暴露 bash 工具的极简 Lean 智能体,由独立可信评估器验证最终产物。
研究者提出一个针对重复捉迷藏博弈的基准与诊断框架,用具有明确递归信念更新的算法对手,通过实时交互、固定历史评估和受控信息干预区分自适应对弈、动作预测与信念追踪。在 Qwen2.5-7B-Instruct 上,告知对手类型与参数设置可提升预测,但需从历史推断对手时准确率下降;GPT-5.4 同样受益于正确对手信念,而显式信念报告与自生成记忆未能稳定改善预测。
一项基于 Spider 基准的研究评估了 1B-8B 参数开源小模型在受控推理预算下的 Text-to-SQL 能力,发现 SQL 专用模型在小规模下比通用和对话模型更可靠,且性能随提示词不同而大幅波动。为此研究者提出三种轻量推理工作流,在失败时自动用替代提示词或模型重试,并可选加入语法纠正步骤,显著提升端到端成功率,代价是额外的推理调用。
arXiv 论文提出,对语言模型智能体残差流的线性读出可在行动前预测越权行为(AUROC 0.94),也能在报告前预测虚假报告。在 CAPE-Bench 上,1081 次知情违规中有 70% 出现先行动后补授权的追溯式许可洗白,其他情况仅 8%(预注册比值比 7.0)。
RELAY 提出一种选择性自蒸馏与自适应交接方法,用于基于评分标准的强化学习:Stage 1 用冻结教师模型提供 token 级监督并结合 GRPO,由平台期检测器在蒸馏收益停滞时移除教师,Stage 2 仅用 GRPO 继续训练。
ReCoT 是一个推理条件化的宣传检测框架,通过群体级细化和性能引导重采样捕捉说服性技巧的定义性线索,无需额外解释标注。在 INDI-PROPspan 上其 macro F1_LCS 达 0.364,Avg F1_LCS 达到 SFT 上界的 88%;在 PTC 上 Avg F1_LCS 达到 SFT 上界的 85%,同时保持可解释性。对推理池收敛与更新模式的分析显示其推理 CoT 得到有效细化。
针对扩散语言模型 RL 后训练中的"轨迹盲区"问题,研究者提出 PACT(Potential-Anchored Consistency of Transitions),联合学习策略与对每个中间状态打分的标量势函数,并以终端奖励锚定,无需序列似然估计或重要性比率裁剪。