跨模型隐藏状态探测实现 LLM 跨度级幻觉检测
研究者提出一种基于内部隐藏状态的框架,通过逐层激活模式实现 LLM 细粒度跨度级幻觉检测,突破以往 token 级二分类的局限。该方法采用跨模型探测,认为外部观察者可能看得更清楚。
研究者提出一种基于内部隐藏状态的框架,通过逐层激活模式实现 LLM 细粒度跨度级幻觉检测,突破以往 token 级二分类的局限。该方法采用跨模型探测,认为外部观察者可能看得更清楚。
针对 LLM 强化学习后训练中采样响应因策略更新与 rollout/训练引擎差异而偏离策略的问题,研究者提出取消感知响应掩码 CARM。现有常用的序列级掩码规则基于采样 token 概率比的长度归一化几何均值,其带符号对数比会在序列内相互抵消,CARM 正是针对这一抵消现象设计的。
研究者提出 Canonical Coordinate Framing(CCF)与 Task-Adaptive Feedback(TAF)两个新概念,让强大的 2D VLM 通过 3D 定位与迭代反馈循环在 3D 任务中可靠运行,而非直接将模型扩展到 3D。CCF 作为统一视觉表示,将输入与输出锚定到共享的欧氏空间。
论文发现 LLM 推理模型在 RLVR 后训练过程中,其思维链(CoT)会出现语言漂移:使用异常、非标准甚至看似无意义的语言。这种漂移已被广泛记录,并可能损害 CoT 的可监控性,但其成因此前一直缺乏理解。
针对多 LLM 议会中置信度只反映决断性而非正确性、且无法识别持续不可靠智能体的问题,研究者提出贝叶斯辩证论证方法,用于在持续对抗条件下校准多 LLM 议会的置信度并折损不可靠智能体。该方法将议会置信度重新定义为回答正确的校准概率,并据此聚合各模型意见。
MIT 研究者 Alex Zhang 在 Latent Space 播客中介绍了其 Recursive Language Models(RLM)等工作,基于 RLM 的 harness 是首个接近解决 ARC-AGI-3 的方案,早于 OpenAI 的 Astra。
Latent JEPA 框架将自回归学习与联合嵌入预测结合,训练连续潜在思维在不逐字输出中间步骤的情况下预测未来解题过程的关键信息。该工作受化学直觉启发,探索潜在思维如何补充显式分析,用于化学知识与多步问题求解。
Apple 研究团队证明,离散扩散模型(含 remasking 与 uniform-state 采样器)的一步生成只有在所写入位置在已固定 token 条件下相互独立时,才与训练分布匹配,而任何逐位置分布的乘积都无法拟合存在依赖关系的 token 组。
Periscope 是一种免训练的推理方法,将文本的 N 个分块排成 K×K 网格,让冻结模型对 K 个连续分块的局部片段和 K 个跨全文的跨步片段回答同一问题,并读取每个答案的对数几率。该方法针对在有限选项集上做判断的任务(如哪篇文档相关、哪个选项成立、哪段是证据),无需训练即可将冻结语言模型扩展到超出其上下文窗口。
研究对比 Jev-1.13.0 等决策模型与 LLM 在 RANIntent v1 基准上的意图解读表现,测试覆盖闭环 ns-3 仿真及真实 A1、E2 路径。Jev-1.13.0 返回带类型的策略字段,LLM 则逐 token 生成策略;中位解读耗时为 0.286 至 2.35 秒。研究关注 LLM 的额外延迟是否影响控制截止时间、RIC 容量或无线性能。
研究提出 Foresight,让流式 VLM 在不重训练的情况下,利用模型自身对近期未来的预判能力动态配置后续计算,从而适配不断变化的场景动态。现有流式 VLM 的推理计算路径在推理过程中固定不变,无法按未来事件调整感知的层级与形式。
ProAR 框架将自回归视频生成转变为目标导向的推理过程,以解决其依赖下一块预测、局限于短视反应式范式的问题。该框架引入两项关键设计,让模型通过有效的中间状态达成目标结果,而非只追求局部视觉合理性。
针对潜在视觉推理中多个 latent token 通过共享 value 投影访问同一视觉证据、导致潜在表示冗余的问题,研究者提出 MoLE(Mixture of Latent Experts),让不同 latent token 提取互补的视觉信息。该方法面向 vision-language 模型的连续中间状态推理,无需显式文本推理链或重复图像操作。
研究为 GRPO 类算法推导出收敛界,明确刻画了梯度估计器二阶矩与偏差之间的权衡。分析表明,对轨迹级重要性加权估计器,一旦二阶矩被一致控制,延迟便通过该界影响收敛。
OpenAI 的 GPT-6 Astra Ultrafast 已在 OpenAI API 上线,并向符合条件的 ChatGPT Work 和 Codex 用户开放,运行在 NVIDIA Blackwell GPU 上。
推荐理由:原文给出 Astra Ultrafast 相对标准模式的提速幅度与开放入口,读者可据此判断它对编码智能体循环的实际影响。
Meta 用 TLX(Triton Low-level Extensions)为 NVIDIA Blackwell(B200)重写了 GEM 广告模型背后的 Jagged Flash Attention 内核,代码约 3.2K 行,比 FA4 的约 10K 行 CuteDSL 少约 3 倍。
研究提出 LoopCD,一种免训练的对比解码框架,通过将最终预测与更早的循环轮次输出对比来引导 token 选择,从而更充分地利用 Looped Transformers 的中间表示。由于早期循环计算量更小,这种循环结构天然提供了对齐的弱-强预测对,无需辅助模型或额外训练。
研究者提出 PoS,一种推理时框架,为 LLM 智能体构建并持续维护显式信念状态作为决策上下文,每个信念结合当前世界状态估计与未解决的任务需求,明确智能体仍需了解与完成的事项。PoS 通过校验一致性并持续监控来保证信念可靠可用,从而支撑长时程任务。
OmniSeek 是一个将 Omni-LLM 转变为具备原生工具调用能力的多轮推理智能体的框架,让证据获取成为推理过程的一部分,动态决定看还是听、以及覆盖哪个时间窗口,从而在长上下文中跨模态检索稀疏但关键的证据。检索到的原始音频或视觉片段通过迭代多轮协议回传,供模型继续推理。
一项关于 LLM 强化学习后训练的研究发现,预训练模型配上轻量推理框架就能充当可用的智能体,尽管其 pass@1 准确率远低于后训练模型。该研究质疑了 RL 后训练只是"锐化"基座模型已有行为、以牺牲解法覆盖率为代价提升单次准确率的假说,指出这一权衡在需要多轮工具调用的智能体任务中未必成立。
AgSpec 是一个面向编码智能体流水线的基于检索的投机解码框架,为现有检索引擎补上缺失的语料与草稿长度策略。现有方法在智能体流水线中表现不佳:大量可复用文本不在其语料中,或存储形式与智能体实际输出不一致,且草稿长度忽略了接受长度随智能体和轮次变化的问题。
研究针对 VideoLLMs 时间推理薄弱的问题,提出用逐层时间散度向量 τ_l 追踪反转帧序带来的表征差异,发现其幅度随层数呈现一致规律。基于此,作者在推理阶段强化时间表征,以缓解反转帧序后预测不变的现象。
Apple 提出 RLTL;DR,让策略在每次失败后根据验证器输出自行写出单条 TL;DR 式反馈,并将上下文中的洞察反向传播以内化"任务→洞察"映射。
研究提出 Kinematic MeanFlow,用于在机器人基础模型(RFM)中实现一步式动作生成,以克服多步 flow matching 的高推理延迟。作者发现 MeanFlow 直接应用会导致性能崩溃,原因在于 RFM 速度场存在两种动态特性:局部加速度在去噪早期稳定但末期急剧上升,且其幅度在样本间的分布随去噪推进而变宽。
针对 Jev 式类型化决策模型(为路由、审核与分诊设计的接口,每个选项带短标签和书面定义),研究对可检查、可修补权重的开源实现进行检验,发现概率跟随标签而非定义。该操作同样出现在语言模型通过给标签字符串打分充当分类器时。
OpenAI 推理方向核心人物在最新访谈中提出,数学突破只是多智能体时代的开胃菜。他透露千禧年难题的突破中,10000 个 Agent 最多只贡献了 10% 的功劳。
Google DeepMind 发布新前沿模型 Gemini 4 Argon,先通过 Fairwind Program 向受信任的网络安全防御方开放,随后逐步扩展到开发者、企业和消费者,起步价每百万输入 token 2 美元、输出 token 10 美元。
推荐理由:官方给出 Argon 在编码、企业知识与网络安全防御上的评测成绩和内部落地案例,可据此判断前沿模型的能力边界。
JevSpawn 是一种组合式策略,将自然语言任务描述与有限域上的概率探索连接起来,通过并行动作生成缓解 LLM 智能体逐 token 生成推理与动作带来的高延迟和高算力开销。它针对 Jev 风格模型需预先指定有限域、难以自主求解任务的问题,使可用动作能从自然语言指令中推导并随交互自适应调整。
研究发现偏好蒸馏中"拒绝样本"不必来自与学生同等或更大的模型:在 7B 到 72B 的学生模型上,用更小的冻结模型生成拒绝样本,推理算力更低,却比自生成拒绝样本训练出更强的学生模型。该结论在代码生成与数学推理任务上、以及在序列级知识蒸馏前后均成立。
研究提出 Neighborhood On-Policy Self-Distillation,在 on-policy 自蒸馏(OPSD)中对特权教师模型做局部参数扰动,发现邻近参数设置能在同一参考解上下文中提供互补的、与参考对齐的修正,且不同专家在不同参考位置给出修正,其合集覆盖的位置多于未扰动的特权教师。该方法用于训练数学推理模型。
一篇综述将 LLM 注意力机制的发展统一视为模型内部上下文记忆,并提出记忆表示、记忆更新、访问、读出与整合五个维度作为分析框架。文章指出,自注意力虽能提供细粒度、依赖查询的上下文访问,但密集 token 交互带来二次方预填充成本,且 KV cache 随上下文长度增长,因此研究覆盖显式记忆压缩、稀疏访问、循环状态构建、结构化状态动力学与异构机制组合等方向。
研究提出"演化世界导航"任务,要求具身智能体在目标于未观测期间移动的情况下,从间歇性观测推断目标位置、预测其被检查时的状态,并利用视觉信息修正信念。现有记忆检索与状态预测方法难以应对持续发生的隐藏世界演化,以及在有限可见度下更新信念的挑战。
LEAP 是一个让模型自行检索证据、无需将整段录像放入同一上下文的长音视频问答框架。它把录像切成固定时长分块,用轻量定位流程为每块内的候选短窗口打分,再将排名最高的窗口汇聚并在一次有界回答流程中重新编码,以缓解整段编码耗尽上下文与均匀时间压缩稀释细粒度音视频证据的两难。
研究提出 Length Self-Distillation(LSD),将已解出的提示词路由到 on-policy 蒸馏,未解出的提示词保留原 RL 目标,以缓解 RL 后训练中的长度扩展税(LST)——即已解出问题上响应过长却无相应准确率提升。LSD 使用指数移动平均。
针对 LVLM 用 CoT 做空间推理时每步必须锁定单个 token、易因过早离散化传播错误的问题,研究者提出后训练框架 Soft Spatial Reasoning,在空间任务中引入软思考。该方法在每一步保留对空间解释的不确定性,而非强制提交单一 token,从而减少错误 token 选择带来的连锁推理偏差。
SpatialCORE 提出一种置信度感知的 grounded 空间推理方法,针对大型视觉语言模型(LVLMs)在视觉空间推理上的持续短板。现有引入 grounding 的空间推理方法只优化最终答案正确性,即使模型未基于高置信度定位结果推理也能获得奖励。
DAGent 提出 Evaluate-then-Grow 规划方法,用于基于 DAG 的深度研究智能体,替代先规划后修补(Plan-then-Patch)策略。现有 DAG 智能体在执行前就实例化任务级计划,只在观察到失败或证据缺失后才修复图结构,在深度研究场景中较为脆弱。DAGent 让智能体在证据尚不充分时不必过早固化计划,而是边评估边扩展。
研究系统考察了 LLM 概念注入与移除场景下的多种条件控制方法,发现高效激活引导(activation steering)方法往往以流畅性大幅下降为代价。激活引导在指令微调模型上的效果远不如基座模型,而简单提示词与完整监督微调适合概念注入、却不擅长概念移除。低成本文本指标与昂贵的 LLM-as-judge 评分高度相关。
研究团队提出 OmniReasoning,包含音视频证据缺一不可的 OmniReasoningBench 基准、数据引擎与学习方法,该基准覆盖两类任务共 1,150 道选择题与开放题。现有基准、训练数据和学习方法大多将各模态独立处理,音视频联合推理能力因此缺乏充分评估与激发。
研究发现,同一对话中保留的历史计算既可能提升也可能降低 LLM 后续题目的准确率,即使题目属于同一领域。作者用受控重放隔离出每个题目-历史配对特有的内部状态变化,发现不同历史下这些变化对当前题目间关系的保持方式相似,并提出改进保留历史下推理的方法。