MeSD:面向 VideoLLM 的多证据自蒸馏方法
针对 VideoLLM 的强化学习仅提供序列级奖励、缺乏 token 级指导的问题,研究者提出多证据自蒸馏方法 MeSD,通过让自教师模型基于特权信息提供密集的 token 级监督。该方法指出在单一教师上下文中聚合异构证据会掩盖证据间的一致与冲突,并进一步探讨教师指导应用于优化奖励更新还是为失败样本提供纠正性监督。
针对 VideoLLM 的强化学习仅提供序列级奖励、缺乏 token 级指导的问题,研究者提出多证据自蒸馏方法 MeSD,通过让自教师模型基于特权信息提供密集的 token 级监督。该方法指出在单一教师上下文中聚合异构证据会掩盖证据间的一致与冲突,并进一步探讨教师指导应用于优化奖励更新还是为失败样本提供纠正性监督。
研究者提出"极简机器"(Minimalist Machine)归纳程序合成框架,用 Prolog 的紧凑关系子集在固定模式内搜索程序,仅含无体事实与双体合取 Horn 子句。递归不靠专用元规则定义,而是在学习到的子句体内复用目标谓词时自然涌现。该框架受小学课程启发,用于模拟人类从极少经验中习得复杂递归概念的过程。
DeferKV 提出重新思考一次性 KV cache 压缩的驱逐时机,指出既有方法在 prefill 后立即执行不可逆驱逐,而此时尚无实际生成阶段的信号。定量分析显示,生成阶段早期 query 提供的注意力信号与后续 decode 注意力更一致,单步增益最大处出现在 prefill-decode 交界。
针对世界动作模型(WAM)执行偏离预测后剩余动作失效的问题,研究者提出未来锚定验证与在线恢复方法,利用 WAM 行动前预测的未来状态来恢复任务所需状态,而非仅从已偏离分布的当前状态重新规划。现有执行监控器只能决定何时停止,无法决定恢复什么。
针对概率神经符号学习(PNL)中推理需先物化逻辑溯源、易成计算瓶颈的问题,研究者提出 DPNL——一个 oracle 引导的框架,无需在推理前完成完整的溯源物化,而是惰性探索求解空间。
针对 TTT-Discover 等测试时训练方法依赖大模型、需维护梯度与优化器状态导致成本高昂的问题,该研究提出在思维空间中训练小模型,使其从验证器反馈中更新生成策略,从而在测试时以更低成本持续提出并改进可执行解。
CentriQ 提出一种无需校准的扩散 Transformer(DiT)量化方法,通过精确均值中心化解决自适应 layer-norm 条件引入的 per-token 均值问题,将权重和激活量化至 4 bit 以降低采样成本。现有校准方法绑定特定 checkpoint 和提示词分布,而数据无关的 Hadamard 旋转在 DiT 上会损失生成质量,CentriQ 针对这一结构性成因进行了改进。
研究发现,Transformers 的 HQQ 后端在压缩 KV cache 时,虽然按请求分组分别更新量化参数,却用共享的平均误差决定所有更新何时停止。仅替换与目标问题同批的其他问题,就在两个模型的 384 次测试对比中有 170 次改变了 4-bit HQQ 的答案。
研究考察预生成成功探针在多语言场景下的可靠性,这类探针通过语言模型解码前的隐藏激活估计回答正确性,以支持成本感知路由。此前工作主要在英文输入上验证其效用,本文从三个维度评估跨语言表现:能否保持成功与失败样本的排序(区分度)、概率是否匹配实际成功频率(校准),以及不同候选模型间的分数是否足以支撑成本感知的多语言路由。
受神经系统疾病"疾病感缺失"启发,研究探测 LLM 能否识别量化导致的计算基底退化。现有模型即使获得自身生成文本作为外部线索,也无法自我报告其量化状态;线性探测显示生成文本几乎不携带量化痕迹,但内部表征含有清晰且与量化方法相关的信号。
针对扩散与流匹配机器人策略因迭代去噪导致预测延迟、难以支撑高频闭环控制的问题,研究提出 Adaptive Mean Flow,用于实现响应式闭环机器人控制。该方法面向模仿学习场景,旨在缓解频繁更新动作预测时出现的抖动与不稳定运动。
该论文研究针对深度强化学习(DRL)的基于迁移的黑盒攻击:攻击者在白盒代理智能体上构造观测扰动,再喂给未知的受害策略,并将攻击建模为每步扰动预算下的回报最小化。作者首先发现,直接移植 FGSM、MI-FGSM 和 NI-FGSM 等可迁移图像分类攻击,其扰动虽可迁移,但强度不超过随机扰动。
论文检验 VLA 的泛化究竟源于对物体物理属性的全局理解,还是仅复现已学会的动作。作者对七个 VLA 的激活做线性探测与表征相似性分析(RSA),发现质量、易碎性、可变形性等物理属性信息确实存在。
针对多智能体 LLM 系统研究结论分歧的问题,研究者提出一个围绕两对权衡构建的风格化可靠性模型:任务分解能减轻长上下文负担,但在智能体间压缩或传递信息时会产生"交接税";冗余可从多次采样中获益,但其收益取决于具体条件。该研究认为分歧多源于建模了不同的瓶颈。
针对 PPO 等同策略强化学习从零训练样本效率低、又难以利用次优专家(启发式、基于模型的控制器或相关任务策略)的问题,研究提出自适应专家引导方法,通过动态平衡专家影响与奖励学习来提升训练效率。现有方法通常以固定混合方式设定专家权重,难以兼顾早期引导与最终性能。
D-Loop 提出用循环扩散草稿改进投机解码,解决块扩散中各位置只预测边缘分布、无法观察先前草稿 token 导致的草稿质量与接受长度受限问题。研究识别出相邻位置重复生成同一 token 的“重复陷阱”,并从理论与实验上分析其与草稿接受长度缩短的关联。
EpicWorldModel 是一个面向部分可观测、存在固有不确定性环境训练随机 JEPA 的框架,通过流匹配直接预测多个潜在未来状态,并将预测器与潜在表示空间联合训练。该工作针对基于 JEPA 的潜在世界模型因设计上的确定性、在遮挡等导致多种可能未来的场景下失效的问题提出改进。
针对多个候选模型都能正确回答同一查询时现有 LLM 路由框架的平局漏洞,研究者提出集群感知路由框架,将模型按集群划分后再做路由决策。现有框架通常把路由简化为标准分类任务,该工作对这一过程进行了形式化。
StagQ 是一种多精度权重量化格式,主流为 2-bit 分组仿射基座,后接可配置数量的 1-bit 细化平面,按二进制步长调度。每个支持的精度都是可读前缀,由所有精度共享的元数据推导出的仿射映射解码,无需逐权重查表,从而用单一数据流替代多份权重副本。
研究提出 Self-Step Rejection(SSR),让语言模型无需外部学习型验证器即可拒绝自身错误的推理步骤。诊断显示,相邻前缀的可恢复性变化在实用蒙特卡洛预算下往往难以分辨,而同一前缀的候选则呈现稀疏的低可恢复性尾部。
研究对比 GRPO 前后的教师模型谱系、多种学生规模与在线策略蒸馏目标后发现,RL 改进后的推理教师带来的学生收益是结构化的、依赖具体指标,而非单纯由教师强度决定。教师强度本身不足以让稠密蒸馏具备竞争力,迁移效果需按指标分层评估。
Yandex 发布 Sona 技术报告,用单一生成式模型替代推荐级联中的候选生成、预排序和排序阶段。在智能音箱上开展的 7 天线上 A/B 测试中,Sona 以一个 transformer 替代超过 15 个候选生成器,Active Users 提升 4.53%(为前代 Argus 增益的 2.35 倍),总收听时长提升 6.30%,点赞提升 11.42%。
MEND 是一种基于近端速度匹配的流模型强化学习方法,在每个提示词组内对奖励设上限,已得高分的样本不再移动。上限之下,它沿奖励梯度提出移动,仅当上限奖励增益超过二次位移代价时才接受。
TasteRoute 是一个个性化视频生成路由器,根据输入请求、用户偏好和可用生成预算联合选择生成模型。研究发现,即便以其他标注者的共识作为 oracle,其与每位标注者自身偏好的一致率也仅为 34-55%。
针对每条腿仅四个驱动关节、无髋或踝侧摆的欠驱动双足机器人,论文提出分层强化学习框架:高层策略输入机器人位姿、36 个射线投射近距测量、移动障碍物状态和滚动时域局部目标,每十个控制步输出一次机体速度指令 (v_x, v_y, ω_yaw),由速度条件化的低层策略执行。
研究提出 CACFG(曲率感知无分类器引导),将无分类器引导(CFG)与最优控制理论联系起来。CFG 可在不同引导强度下应用,强度越高图像质量与条件对齐越好,但过高会损害图像质量与多样性,且 CFG 违背了有原则的扩散采样动力学。
研究者提出混合线性注意力 HLA,一种面向 Gated DeltaNet(GDN)的查询相关分块级注意力机制,将每个已完成分块表示为精确的仿射状态,以缓解线性注意力压缩历史后难以选择性访问稀疏、远距离信息的问题。现有分块方法的分块混合系数往往与输入内容无关,无法按查询自适应调整历史访问,HLA 则让混合随查询动态变化。
针对滚动智能体非前缀 KV-Cache 复用,研究发现选择性重计算下的持久缓存复用存在历史依赖性:在滚动智能体负载中,同一未变提示词会因先前处理的请求不同而给出不同答案。在 5% 重计算预算下,按文档对齐的重计算可降低不同请求顺序间的答案差异。
该论文提出将文本修订建模为纳什均衡问题:token 位置为玩家、词表项为动作、每个玩家的效用为语言模型的 log 条件概率,并证明随序列长度增长,纳什均衡的似然可指数级高于自回归输出。作者进一步提出 Nash decoding 算法,在可访问联合概率的条件下,以 O(1/ε) 时间达到 ε-纳什均衡。
Plan Canvas 提出为连续语言流模型固定推理轨迹与答案之间的边界:用固定容量的 plan 区域承载紧凑推理轨迹,未用位置以监督填充补齐,从而避免去噪时同时决定轨迹长度、每个轨迹 token 位置和答案。
AdaSpark 让 DSpark 类块级草稿模型在服务过程中在线学习验证行数与接受率,无需预先测量性能表。该方法同时学习验证耗时与接受量两个量,替代了此前依赖离线表格、单一缩放因子校正或草稿置信度估计的做法。
研究探讨了在 ReAct 智能体循环中结合 LLM 推理能力与检索器语料探索的智能体检索方法,用于解决复杂检索任务。实验表明,智能体检索比标准稠密检索更有效,但正文未给出具体提升幅度与成本数据。
针对 Gated DeltaNet(GDN)在长时程视频世界模型中的严重长程遗忘问题,研究者提出免训练的混合线性注意力框架 HLA-WM,将 Softmax 注意力与循环线性注意力结合,在保持低内存成本的同时缓解远距离场景信息被后续状态更新逐步衰减的问题。
针对标准递归自我改进(RSI)只做一阶优化、反复修补表层参数导致试错震荡的问题,研究者提出 SO-RSI 框架,将工作流优化提升为二阶诊断式探究,先弄清失败原因再实施结构性干预。SO-RSI 通过被动监控运行过程来支撑这一诊断。
循环序列模型需决定每个 token 对记忆的覆写强度,按贝叶斯滤波解读即 Kalman 更新的增益,由波动性与随机性两种不确定性共同决定。研究证明门控 delta-rule 记忆的更新是各向同性不确定性下该滤波器的形式,并提出 Voltic,通过保持协方差各向异性来区分二者。
针对神经网络控制器在非线性控制系统中难以解释和验证的问题,研究者提出为给定 AI 控制系统寻找可解析证明的前向不变集(FIS),即任意从该状态空间区域出发的轨迹都保持在区域内的集合。若该 FIS 排除不安全状态,则区域内初始状态的安全性可得到保证。
针对长链思维链推理中 KV cache 需在固定内存预算下在线压缩的问题,BreadthKV 提出把固定字节预算更多分配给低精度缓存的 token 数量,将量化与逐出结合,并用 60 道题的端到端校准为每个模型和预算选择位宽,因为离线注意力误差无法可靠预测该选择。该研究在三个推理模型上评估了这一精度-数量权衡。
DeCoPrune 是一种免训练的自回归视频扩散 KV-Cache 压缩方法,将缓存压缩视为去噪一致性问题,利用去噪难度作为 token 信息量的代理指标。现有方法要么用固定窗口丢弃历史,要么依赖局部注意力和相似度信号选 token,无法直接衡量当前 chunk 是否提供了超出保留上下文的信息。
针对零样本视觉蕴涵(VE)方法将假设作为单一整体推理的问题,研究者提出 Atomic Visual Entailment(AVE),把假设分解为原子事实,用冻结的视觉语言模型分别基于完整假设和原子事实生成候选预测,再通过学习选择得到最终结果。该方法面向零样本视觉语言推理场景,目前仍处于论文阶段。
有人用 GPT-4o 测试模型能否把大数加法的结果用文字表达,随后在本地 DGX Spark 上重跑该实验以在完全可控环境中观察这一现象。实验者将 Colin Frasier 分享的结果图表粘贴进 Codex Remote 会话(GPT-6 Astra),并提及 Qwen3.8 27B。