ReplaySSM:重新思考混合模型解码的状态存储
NVIDIA 提出 ReplaySSM,重新思考混合模型解码时的状态存储方式。NVIDIA Nemotron 3、Qwen3.5 至 Qwen3.8、Kimi-K3、GLM-5.3-Flash 等混合模型将 SSM 层与少量注意力层交错,SSM 层用固定大小状态替代随序列增长的 KV cache 以实现快速解码。
NVIDIA 提出 ReplaySSM,重新思考混合模型解码时的状态存储方式。NVIDIA Nemotron 3、Qwen3.5 至 Qwen3.8、Kimi-K3、GLM-5.3-Flash 等混合模型将 SSM 层与少量注意力层交错,SSM 层用固定大小状态替代随序列增长的 KV cache 以实现快速解码。
文章以美国数据中心 2023 年用电 176 TWh、2024 年 192 TWh 为起点,结合 Berkeley Lab 对 2025 年增长 22%、2026 年增长 29% 的预测,估算 2026 年 AI 用电约 75 TWh。
Subquadratic 发布 SubQ Snap,一个面向智能体工作流的长上下文决策模型,支持最多 384K tokens 的文本与图像上下文,可在约 1 秒内处理 100K tokens 并返回决策。
AWS 发布 Ray LLM Deep Learning Containers,可在 Amazon EKS 上用两个 GPU 节点部署单个大语言模型,将 prefill 与 decode 阶段分离并统一在一个 OpenAI 兼容端点后。该容器内置 vLLM、Ray Serve LLM、NIXL 和 EFA 栈,整个服务应用仅需一段 YAML,无需编写 handler 或构建自定义镜像。
AWS 发布 llama.cpp 专用深度学习容器(DLC),可在 Amazon SageMaker AI 上以 CPU 或 GPU 托管量化模型,并通过 InvokeEndpoint 提供 OpenAI 兼容的 chat completions。
2014年,蒙特利尔大学实习生 Dzmitry Bahdanau 提出“注意力”机制,让神经网络翻译长句的效果与短句相当,解决了固定内存瓶颈。
对 OpenAI 的 Lean 4 形式化项目 openai/NavierStokesAndEuler 的结构审计发现,其有界强迫定理与爆破机制所用的演化方程存在内部矛盾。审计指出三类问题:坐标变换矩阵 Q(t) 奇异导致的伪爆破、局部界无法在无穷级数上全局继承,以及在 TimeLp 空间中的弱 Bochner 表述无法满足 Clay Statement C 对 C^∞ 经典光滑解的要求。
作者基于非自回归模型 Laya 微调出 323M 的提示词注入检测器 Smolaya-guard,在留出测试集上达到 0.9998 AUC,在 1% 误报率下拦截 99.7% 的注入。
Physical Intelligence 于 2025 年发布的开源权重 VLA 模型 π0.5 正被 Figure、Unitree、Nvidia 等公司广泛采用,成为机器人 AI 的主流架构之一。
研究显示,无分词器的字节级 Transformer 在模型规模扩大时持续优于子词 Transformer,并能自发学到类似分词的局部文本抽象结构。将最多 25% 的中间层限制在这些局部表示上仍可保持下游性能,且生成不确定性集中在局部结构边界,用于投机解码时被接受的 token 数比子词 Transformer 多 3.4 倍。
CEO-Bench 发布,用 500 天模拟 AI 创业公司来评测智能体的长程决策能力,智能体以 100 万美元起始现金、通过 34 个工具按周操作,最终以现金余额为指标。
在 ConditionalQA 的 800 个问题上,9B 决策模型 nimble 单次调用取得 recall@5 0.94,与已上线的 27B 通用模型(qwen3.8)持平,速度约快三倍,重排序算力省约三分之二。
Andrej Karpathy 将大语言模型用户分为四层:约 60 亿人几乎未接触过 LLM,10 至 20 亿人把免费版 ChatGPT 类产品当作更好的搜索引擎,约 2000 万数学与编程领域的专业用户已用智能体完成过去需数周乃至数月的项目,而仅约 5000 人能接触内部前沿系统。
日本冲绳科学技术大学院大学(OIST)的研究团队用电子自旋产生的力移动了一块悬浮的厘米宽金刚石,首次观测到量子效应直接操控受引力影响的物体,成果发表于 Science Advances。
文章提出"后果模型"(consequence model):输入世界状态与智能体即将执行的动作,输出该动作成功的校准概率和简短失败标签,只读不写、单次调用足够廉价。作者认为语言模型学的是文本描述而非行动结果,受因果层级定理限制,难以可靠回答"这么做会怎样"。每一步 95% 成功率的 20 步任务整体成功率约 36%,提升到 99% 则约 82%,因此长任务主要是可靠性问题。
Google DeepMind 的 AlphaProof Nexus 在《Science》新研究中独立解决了数十个开放数学问题,包括 353 个 Erdős 问题中的 9 个,其中两个已悬置 56 年。
推荐理由:读者可了解 AlphaProof Nexus 在 Erdős 问题与 OEIS 猜想上的具体成绩,以及它经同行评审的路径与 OpenAI 做法的对比。
智谱在 Zcode 3.15.1 中上线 GLM-5.3-Highspeed 模型,订阅用户随机灰度获得,有网友晒出 490 tokens/s 的输出速度。作为对比,上月发布的 GLM-5.3-FlashX 最高速度为 200 tokens/s,GLM-5.3-Flash 在 Z.ai API 上约为 60 tokens/s。
华为诺亚方舟实验室联合 UCL 等团队提出 AI 智能体系统 Memento 3,以 Claude Opus 5 为底模、不更新权重也不微调,通关 ARC-AGI-3 公开集全部 25 款游戏、183 个关卡,取得满分 100 的 RHAE 成绩,总操作 7518 次,比人类的 17135 次少约 56%。
NVIDIA 发布 StreamRender-H3,用代码游戏引擎维护世界状态、由流式扩散模型实时生成画面,在 8 张 GB200 上把每步扩散渲染从 799.7 ms 降到 218 ms,提速 3.67 倍。
斯坦福 CS329A「Self-Improving AI Agents」第一讲 Course Overview 学习笔记梳理了大模型演进链条:规模扩展 → 后训练对齐 → 推理时计算 → 智能体与自我改进闭环。
研究者提出 harness learning,训练 proposer 模型利用执行反馈修改 solver 的 harness(组织模型调用、工具使用与信息流的可执行程序),并将该过程形式化为对可执行程序的元学习,harness 修订相当于梯度适应中的权重更新。
阶跃 Step 5 Preview 已在腾讯全场景 AI 办公工作台 WorkBuddy 上线,用户可通过自然语言指令让其自主拆解任务、调用工具。该模型将更强的推理与 Agent 能力带入深度研究、信息检索、数据分析、文档与 PPT 生成及多步骤复杂任务执行等办公场景。2026 年 10 月 12 日至 10 月 25 日,Step 5 Preview 在 WorkBuddy 开启独家限免。
10 月 8 日发现的新 BB(10) 冠军机运行超过 fω+1(2↑363) 步,成为已知步数超过 Graham 数的最小 2 符号图灵机,即 BB(10) > g64,改进了此前 BB(13) > g64 的结果。该机由 Jeff Ketchersid 通过修改现有 BB(7) 冠军机得到,此前 BB(10) 冠军仅运行 fω2(25) 步。
研究提出一种物理信息世界模型驱动的离线多智能体强化学习框架,从局部 CAV 观测-动作历史重建可解释的全局交通状态,并以宏观-微观耦合交通动力学提供物理监督。概率集成世界模型学习状态转移与系统奖励,模型分歧量化认知不确定性,多步想象推演结合悲观奖励与不确定性截断用于离线策略学习。在 SUMO 匝道瓶颈场景约 1×10^6 条离线转换数据上,物理监督提升了状态重建与世界模型预测精度。
研究者提出一种概率式多智能体飞机着陆时间预测框架,将多架飞机的着陆时间输出为分布而非单点估计,以刻画轨迹与流量的不确定性。该框架在韩国仁川国际机场终端空域采集的空管监视数据集上评估,预测精度高于基线,并能量化结果的不确定性。模型还通过注意力分数揭示空管干预的潜在模式,提升可解释性。
针对 executor-advisor 系统中执行模型难以自我判断何时求助的问题,研究者提出元控制器 ARIA,将咨询建模为序列化资源分配问题,在工作流接触点选择 SILENT 或 CONSULT,动作价值由蒙特卡洛控制从带成本惩罚的结果中学习。
SwingGuard 是一个面向加密货币波段交易的双时间尺度、仅做多多智能体框架,在策略生成前引入当前风险条件,并由每五分钟运行一次的 Risk Controller 持续约束持仓。
一项 500 场景的受控基准研究考察了 13 个 LLM 对来源、时间与呈现线索的利用情况,发现模型对来源可靠性的识别几乎一致,但当来源历史被替换时,其选择影响从可忽略到完全反转不等。对三个 Qwen 检查点的干预显示,事实重述提升了两个 27B 模型的可靠性敏感度,叠加额外加权原则后分别再提升 39.2 和 47.2 个百分点,而 9B 模型仅改变了对证据来源的敏感度。
作者提出“大AI理论”,用三阶段对话榨干模型能力:先拉满推理并选计划模式,用语音、图片、视频不过滤倒出想法整理成计划;再切中档推理快速干活,并引 Terminal Bench 3.0 说明详细需求加中档推理质量高于模糊需求加高档推理;最后把推理调回高档让 AI 审查中档成果,称能揪出约 20% 的问题,审查耗时约为从头生成的三分之一。
研究者提出 Green-Routed Neural Operator(GRNO),用控制方程决定潜特征的采样位置,通过无参数方程适配器构造读出坐标的 departure map。
论文报告用 Lean 4 后端验证器 Rust-Prover 完成 VeriContest 的证明生成任务,1007 道题的全部 1325 个定理均被证明。其中 1259 个定理在 Claude Opus 5.5 上单次运行不到 32 小时内完成,中位耗时 3.2 分钟、每个证明 1.17 美元,70% 在首次迭代即通过。
研究提出基于选择的结构化推理(SSR)框架,将推理从开放式生成改为从预设可复用自然语言候选中选择,无需辅助任务头,并借助共享上下文 KV cache 并行打分。在 2B 和 4B 模型、七个多模态搜索基准上,SSR 平均成功率与同规模领先搜索智能体相当,每轮推理延迟降低超 90%,每题模型总推理延迟降低 28-54%。
研究者提出 StepRS-GRPO,在去噪状态间调整组优势变换的风险系数,同时保留原有训练器。在二值奖励下,该变换等价于对中心化结果优势做提示词与状态相关的重缩放。在多个 dLLM 骨干和数学推理基准上,它相比中心化 GRPO 提升了 pass@1 准确率与 pass@k 覆盖率,并增加了答案多样性。
EpiMind 是一个面向跨区域受限流行病政策规划的图世界模型框架,通过图因子化循环状态空间模型生成政策条件下的联合推演,并用图时序 ADMM 优化区域干预、保障共享资源可行性。其入院 RMSE 较无图动力学建模降低 29%,规划结果与最优可行恒定政策差距在 1-5% 以内,并在三种资源预算的真实情境评估中优于所有可部署基线。
针对多维度评分标准下 RLVR 的奖励聚合问题,研究者提出 RLVR²,将各评分标准的分数转为组内序数结果,从比较矩阵中恢复潜在效用并合并为单一训练信号,避免校准异质评分尺度。在 3 种模型规模和 16 个 benchmark 上,RLVR² 均优于代表性评分标准基线,在多数 benchmark 上取得最佳整体表现。该方法还支持在不扩展评分标准的情况下引入与排序相关但非训练目标的辅助属性。
研究者提出 SUccessor-to-Novelty(SUN)指标,从后继价值函数导出,用于识别既新颖又可到达的目标,可无缝接入任意 off-policy 强化学习算法。SUN 被证明是计数缩放目标到达奖励的价值,能约束短视界命中概率并拒绝不可达目标,配套自适应目标选择策略与轻量伪计数。在含不可达状态、不可逆转移、障碍、迷宫和无界空间的标准与新环境中,SUN 持续优于现有方法。
针对混合线性注意力模型前缀复用需存储循环状态检查点、加剧显存压力的问题,研究者提出衰减感知状态压缩 DASC,依据 Gated DeltaNet 与 Kimi Delta Attention 的衰减结构推导各头与通道的保留时域,筛选长时域状态单元并打包为不规则检查点布局,同时在 TP rank 间做均衡。
针对长程智能体任务中组策略优化因采样失衡产生大量全失败组、组内相对优势无法提供更新方向的问题,研究者提出 Coverage-conditioned Group Policy Optimization(CovGPO),仅在组内所有样本结果奖励为零时利用首次访问观测覆盖率,为状态探索动作分配更高相对优势且不破坏原始奖励信号。
该研究将随机森林违规预分类器与 actor-critic 控制器结合,解耦拥塞检测与控制,在真实低压电网上评估其对测量噪声和电网参数失配的鲁棒性。在电网参数准确时,控制器将总违规幅度降低 98.9%,且在测试的测量噪声设置下性能几乎不变;电网模型失配挑战更大,但在测试假设下仍能缓解大部分违规。
研究者提出 CircuitLasso,一种基于稀疏线性回归的可扩展电路学习方法,用于解释大语言模型。它在基准数据上的电路结构准确率与现有基于干预的 SOTA 方法相当,但计算成本大幅降低,并能高效揭示 SAE 特征之间的传播关系。该方法已被 EMNLP 2026 主会接收。