跳到正文
10月5日周一
  1. arXiv26

    MeSD:面向 VideoLLM 的多证据自蒸馏方法

    针对 VideoLLM 的强化学习仅提供序列级奖励、缺乏 token 级指导的问题,研究者提出多证据自蒸馏方法 MeSD,通过让自教师模型基于特权信息提供密集的 token 级监督。该方法指出在单一教师上下文中聚合异构证据会掩盖证据间的一致与冲突,并进一步探讨教师指导应用于优化奖励更新还是为失败样本提供纠正性监督。

  2. arXiv22

    极简机器如何学习算术递归程序

    研究者提出"极简机器"(Minimalist Machine)归纳程序合成框架,用 Prolog 的紧凑关系子集在固定模式内搜索程序,仅含无体事实与双体合取 Horn 子句。递归不靠专用元规则定义,而是在学习到的子句体内复用目标谓词时自然涌现。该框架受小学课程启发,用于模拟人类从极少经验中习得复杂递归概念的过程。

  3. arXiv28

    CentriQ:通过精确均值中心化实现扩散 Transformer 的无校准量化

    CentriQ 提出一种无需校准的扩散 Transformer(DiT)量化方法,通过精确均值中心化解决自适应 layer-norm 条件引入的 per-token 均值问题,将权重和激活量化至 4 bit 以降低采样成本。现有校准方法绑定特定 checkpoint 和提示词分布,而数据无关的 Hadamard 旋转在 DiT 上会损失生成质量,CentriQ 针对这一结构性成因进行了改进。

  4. arXiv22

    多语言 LLM 路由中预生成成功探针的跨语言校准

    研究考察预生成成功探针在多语言场景下的可靠性,这类探针通过语言模型解码前的隐藏激活估计回答正确性,以支持成本感知路由。此前工作主要在英文输入上验证其效用,本文从三个维度评估跨语言表现:能否保持成功与失败样本的排序(区分度)、概率是否匹配实际成功频率(校准),以及不同候选模型间的分数是否足以支撑成本感知的多语言路由。

  5. arXiv22

    提升针对深度强化学习的可迁移对抗攻击

    该论文研究针对深度强化学习(DRL)的基于迁移的黑盒攻击:攻击者在白盒代理智能体上构造观测扰动,再喂给未知的受害策略,并将攻击建模为每步扰动预算下的回报最小化。作者首先发现,直接移植 FGSM、MI-FGSM 和 NI-FGSM 等可迁移图像分类攻击,其扰动虽可迁移,但强度不超过随机扰动。

  6. arXiv31

    多智能体 LLM 系统何时有用:注意力税与交接税的风格化模型

    针对多智能体 LLM 系统研究结论分歧的问题,研究者提出一个围绕两对权衡构建的风格化可靠性模型:任务分解能减轻长上下文负担,但在智能体间压缩或传递信息时会产生"交接税";冗余可从多次采样中获益,但其收益取决于具体条件。该研究认为分歧多源于建模了不同的瓶颈。

  7. arXiv27

    自适应专家引导实现高效同策略强化学习

    针对 PPO 等同策略强化学习从零训练样本效率低、又难以利用次优专家(启发式、基于模型的控制器或相关任务策略)的问题,研究提出自适应专家引导方法,通过动态平衡专家影响与奖励学习来提升训练效率。现有方法通常以固定混合方式设定专家权重,难以兼顾早期引导与最终性能。

  8. arXiv24

    D-Loop:用于投机解码的循环扩散草稿

    D-Loop 提出用循环扩散草稿改进投机解码,解决块扩散中各位置只预测边缘分布、无法观察先前草稿 token 导致的草稿质量与接受长度受限问题。研究识别出相邻位置重复生成同一 token 的“重复陷阱”,并从理论与实验上分析其与草稿接受长度缩短的关联。

  9. arXiv36

    EpicWorldModel:用潜在世界模型做探索驱动规划

    EpicWorldModel 是一个面向部分可观测、存在固有不确定性环境训练随机 JEPA 的框架,通过流匹配直接预测多个潜在未来状态,并将预测器与潜在表示空间联合训练。该工作针对基于 JEPA 的潜在世界模型因设计上的确定性、在遮挡等导致多种可能未来的场景下失效的问题提出改进。

  10. 科技媒体 RSS44

    Yandex 发布 Sona 技术报告:单一生成式推荐模型替代整条推荐级联

    Yandex 发布 Sona 技术报告,用单一生成式模型替代推荐级联中的候选生成、预排序和排序阶段。在智能音箱上开展的 7 天线上 A/B 测试中,Sona 以一个 transformer 替代超过 15 个候选生成器,Active Users 提升 4.53%(为前代 Argus 增益的 2.35 倍),总收听时长提升 6.30%,点赞提升 11.42%。

  11. arXiv24

    HLA:通过分块动态混合实现表达力更强的混合线性注意力

    研究者提出混合线性注意力 HLA,一种面向 Gated DeltaNet(GDN)的查询相关分块级注意力机制,将每个已完成分块表示为精确的仿射状态,以缓解线性注意力压缩历史后难以选择性访问稀疏、远距离信息的问题。现有分块方法的分块混合系数往往与输入内容无关,无法按查询自适应调整历史访问,HLA 则让混合随查询动态变化。

  12. arXiv22

    纳什均衡文本:面向文本生成的博弈论解码框架

    该论文提出将文本修订建模为纳什均衡问题:token 位置为玩家、词表项为动作、每个玩家的效用为语言模型的 log 条件概率,并证明随序列长度增长,纳什均衡的似然可指数级高于自回归输出。作者进一步提出 Nash decoding 算法,在可访问联合概率的条件下,以 O(1/ε) 时间达到 ε-纳什均衡。

  13. arXiv35

    Voltic:在循环记忆中区分波动性与随机性

    循环序列模型需决定每个 token 对记忆的覆写强度,按贝叶斯滤波解读即 Kalman 更新的增益,由波动性与随机性两种不确定性共同决定。研究证明门控 delta-rule 记忆的更新是各向同性不确定性下该滤波器的形式,并提出 Voltic,通过保持协方差各向异性来区分二者。

  14. arXiv27

    长链推理解码期 KV 压缩:字节该花在广度上——BreadthKV 的精度与数量权衡

    针对长链思维链推理中 KV cache 需在固定内存预算下在线压缩的问题,BreadthKV 提出把固定字节预算更多分配给低精度缓存的 token 数量,将量化与逐出结合,并用 60 道题的端到端校准为每个模型和预算选择位宽,因为离线注意力误差无法可靠预测该选择。该研究在三个推理模型上评估了这一精度-数量权衡。

  15. Hugging Face Daily Papers22

    DeCoPrune:基于去噪一致性的自回归视频扩散 KV-Cache 剪枝

    DeCoPrune 是一种免训练的自回归视频扩散 KV-Cache 压缩方法,将缓存压缩视为去噪一致性问题,利用去噪难度作为 token 信息量的代理指标。现有方法要么用固定窗口丢弃历史,要么依赖局部注意力和相似度信号选 token,无法直接衡量当前 chunk 是否提供了超出保留上下文的信息。

  16. arXiv22

    Atomic Visual Entailment:通过原子事实分解与学习选择增强零样本视觉语言推理

    针对零样本视觉蕴涵(VE)方法将假设作为单一整体推理的问题,研究者提出 Atomic Visual Entailment(AVE),把假设分解为原子事实,用冻结的视觉语言模型分别基于完整假设和原子事实生成候选预测,再通过学习选择得到最终结果。该方法面向零样本视觉语言推理场景,目前仍处于论文阶段。

  17. 科技媒体 RSS22

    Qwen3.8 27B 用文字做加法的实验

    有人用 GPT-4o 测试模型能否把大数加法的结果用文字表达,随后在本地 DGX Spark 上重跑该实验以在完全可控环境中观察这一现象。实验者将 Colin Frasier 分享的结果图表粘贴进 Codex Remote 会话(GPT-6 Astra),并提及 Qwen3.8 27B。