One Block Ahead:让扩散语言模型并行解码下一个 block
针对块扩散语言模型仍按严格顺序去噪 block 的问题,研究者提出免训练解码算法 One Block Ahead(OBA),在去噪当前 block 的同时并行去噪下一个 block,并将下一 block 的 token 与对应的采样器状态(含自条件信号和去噪时间)一同提升。
针对块扩散语言模型仍按严格顺序去噪 block 的问题,研究者提出免训练解码算法 One Block Ahead(OBA),在去噪当前 block 的同时并行去噪下一个 block,并将下一 block 的 token 与对应的采样器状态(含自条件信号和去噪时间)一同提升。
研究者提出首个以 LLM 作为表示机器的 Levin Kt 测试,可生成难度以比特为单位、超越当前人类与前沿模型能力的高难度题目。该测试形式化了度量方法并搭建轻量级生成与认证流水线,首批认证题目已在 12 个 LLM 上测试,智能体特征曲线随难度下降,延伸至可认证却超出前沿智能的超智能窗口。
针对扩散语言模型(dLLM)强化学习中的探索不足与信用分配粗糙问题,研究者提出 ForkGRPO 框架,从参考轨迹的高熵中间状态采样多条续写并复用共享前缀,结合组内相对优势与蒙特卡洛状态价值差实现段级信用分配。
研究将 Best-of-N 采样建模为正确答案与错误答案奖励尾部的竞争,用极值理论刻画了正确尾部主导、错误尾部主导和临界三种渐近机制,可同时解释单调增益与奖励黑客导致的性能退化。
研究者提出 CoffeeBench,一个用模拟家电测试 LLM 智能体故障诊断能力的任务。被测 LLM 难以仅凭传感器信息稳定识别故障,但表现最好的模型能迭代缩小故障选项空间并最终完成诊断。分析还发现,初始诊断不确定性和 LLM 评判的推理合理性是预测诊断成功的高信号指标。
研究发现,即便强制 Transformer 语言模型中专门处理句法关系的注意力头去关注干扰名词,模型的句法预测仍更符合主语而非干扰项。对句法专用头的干预在两项指标中仅有一项显著强于随机头干预,说明这些头对模型句法预测的因果作用证据有限。
Titan-Llama 是一种后训练方法,通过分层记忆架构为注意力语言模型加装可在测试时更新参数的神经记忆模块(NMMs),无需从头训练即可替换预训练注意力层。
DualView 是一种参数高效的多输出文本回归方法,先从冻结的 LLM 中提取广泛与输出特定的表示,再用双分支架构生成完整分数向量。在五个异构回归任务和八种 LLM(最大 122B)上,它超越七个监督回归基线,所需拟合参数比三个最强基线少 82–1842 倍,且用较小的开源 LLM 即可超过 Gemini 3.1 Pro 的无监督预测。
Weighted Ensemble(WE)是一个免训练框架,用于估计语言模型稀有但严重失败事件的概率。它只从原始语言模型采样,通过周期性将采样预算重新分配给更可能到达目标稀有事件的前缀,并利用 LLM 内部表示作为前缀级信号来指导分配,无需额外学习提议分布。在覆盖小规模与大规模 LLM 的安全相关任务上,WE 提升了稀有事件概率估计的效率与可靠性。
SQD-Agent 是一个基于 LLM 的智能体框架,可将自然语言意图转化为基于 Sample-Based Quantum Diagonalization(SQD)算法的量子化学可执行工作流,降低应用研究者使用混合量子-经典流程的专业门槛。
HERO 将离线与测试时 harness 优化结合,用于 text-to-SQL、text-to-Cypher 和 text-to-Python 等程序生成任务。
研究用受控诊断任务区分"复制邻近示例"与"跨提示整合信息",在17个模型中约三分之一偏好复制答案,其余偏好规则一致答案且准确率更高。检查点分析显示,模型在准确率超过随机水平之前就已优先关注任务相关提示词。匹配训练实验中,先定义结尾再查询的合成文档使模型转向组合式回答,而基于改写真实文档的定义练习微调可在提示重新分配标签含义时提升准确率。
研究者提出联合子空间稀疏注意力(JSSA),通过学习共享低维 query-key 子空间提升 token 级选择质量,并设计免 gather 的 token 级索引注意力 kernel,在 GQA、混合滑窗/全局注意力和 MLA 模型上保持接近全 KV 的精度。
论文提出 RAISE 框架,指出 LLM 逻辑推理能力的提升会通过演绎自我推断、归纳情境识别、溯因自我建模三条机制路径,逐步加深模型的情境意识,并构建了从基础自我识别到策略性欺骗的升级阶梯。
研究提出"约定差距"指标,通过 Hanabi 卡牌游戏中可计算的出牌失败概率,将隐式约定从推断的失分原因变为可测量、可比较、可因果检验的对象。在两个独立收集的人类对局语料中,人类差距大于所有 off-belief learning 智能体层级(1-5),但人类优势集中在智能体未学会的情境:指向未触及卡牌的提示。约定使用取决于玩家对卡牌的已知信息而非提示新近度,且多用于中局。
研究提出一种不确定性驱动的自博弈方案:一半智能体因提升邻居的认知不确定性而获得奖励,另一半则学习安全驾驶,探索智能体借此自动挖掘困难场景,无需人工设计课程。所得策略零样本迁移至 nuplan Val14 达 99.12%(标准自博弈为 97.97%),Argoverse 2 达 82.39%(对比 78.03%),并在 Waymo 上优于标准自博弈。
一项研究提出按"每成功完成任务"而非每次调用衡量 LLM 的能耗、成本与时间,因为智能体任务需所有步骤都成功,单步可靠性的微小差异会放大为整体成功率的巨大差距。
针对图式智能体工作流中跨任务耦合的路由问题,研究者提出单参数采购拍卖框架与 STAR(Strategy-proof Topology-aware Agent Routing)机制,通过最小化虚拟成本加权的图工作量,使各 LLM 提供商如实上报成本成为效用最大化选择,并覆盖其真实执行成本。
研究发现,LLM 智能体团队协作时,通信校准后的动作概率比仅通信动作更有效,因为两个智能体可能因不同原因偏好同一动作,仅传动作会丢失决策相关的不确定性。在合成多轮推理和协作迷宫任务中,概率通信在预测保持校准不确定性时优于动作通信,但概率有偏时优势消失。一种事后对话校准干预能持续纠正偏差,改善 toy transformer 和预训练 LLM 的决策表现。
CIPHEUR 是一个 LLM 引导的框架,通过结构化干预单元(SIU)将冲突证据与协调干预及恢复连接,支持离线合成可执行策略与在线上下文决策。在八个卫星-地面调度冲突视图、每视图五次运行、900 秒评估上限下,CIPHEUR-online 在 11 种配置中取得最高平均目标值,平均调度接触时长较贪心基线 GWMIN 提升 14.84%,并在全部 40 次配对运行中优于 CHILS。
OpenBMB 的 MiniCPM-V 4.7(35B A3B)搭配 DSPARK Drafter 实现 370 tok/s 的推测解码速度,10 秒内生成 3,589 tokens,持续吞吐 370.0 tok/s、峰值突发 351.8 tok/s,TTFT 平均 0.30s。OpenBMB 称这是社区对推测解码极限的又一次突破。
TypeSafe AI 发布 System One 决策模型 Jev 1.14,以 jev-preview 别名上线,新增图像输入、Box 边界框类型和 262k 长上下文三项实验性功能,官方称均未达到生产可用。
JEV 1.14.0 新增多模态能力,可同时处理文本和图像数据,并引入图像区域检测的 'box' 类型。该版本将上下文长度扩大至 262K,同时优化多语言理解能力,更适合图像编辑、视频剪辑分析等视觉-语言任务。
Google TPU v7 运行 FP8 vLLM 的每美元性能比 NVIDIA GB300 NVL72 运行 FP4 高出 1.67 倍。该基准测试结果由 Google 提交,显示 TPU v7 在性价比维度上领先 NVIDIA 当前旗舰级机架方案。
上海人工智能实验室访问学者、大湾区大学教授许地生团队依托书生科学多模态大模型 S2,通过人机协同完成困扰数学界 30 余年的三维 Ghys 猜想证明。北京大学董彬、刘若川院士团队用 SHEAF 框架完成形式化验证,论文已发布于 arXiv,形式化代码开源在 GitHub(https://github.com/frenzymath/HolomorphicAnosov)。
TypeSafe 发布 Jev 1.14.0,并以免责的“danger zone”API 开关形式开放图像、box 类型和更长上下文三项实验功能。图像能力通过 assets 中的查找替换实现,可放入 state、instructions 或 criteria;box 返回单个边界框,仅 jev-1.14.0 支持。
vLLM 的自适应验证(AV)现已支持所有基于草稿模型的推测器类型,无需草稿模型自带置信头。该方案用在线拟合的轻量逻辑回归,从草稿模型 logits 的 log-odds 特征预测目标模型的接受概率,K 个 token 的草稿器仅需 K+1 个参数,系数在服务过程中持续拟合。
Jiaru "Rubin" Zou 提出 Hybrid Reasoning Agents,让 LLM 智能体在潜空间中思考、通过文本行动,具备两种模式并统一于多轮流程,潜空间思考完全可读、非黑盒,且任何 LLM 都能变成 HybridAgent。
Stanford Digital Economy Lab 经济学家 Gabriel Unger 与 Arvind Narayanan 撰文主张,AI 不应只朝全面自动化发展,而应构建人机协作范式,并提出白盒智能体等研究方向。文章认为当前 AI 研究过度偏向自动化,忽视了增强人类与团队协作能力的方向,并给出四个探索性研究议题。
Google DeepMind 的 Gemini 4 Argon 模型正被用于量子计算、核聚变和蛋白质设计等多个科学领域,通过快速处理实验数据并生成可执行的洞察来加速新突破的发现。该模型的目标是推动这些领域的重大科研进展。
Google DeepMind 用 Argon 将内部版量子纠错解码器 AlphaQubit 转换为单一高度优化的硬件 megakernel,推理吞吐量提升近一倍。Argon 正在帮助加速量子纠错和算法设计两方面的进展。
研究者使用 Gemini 4 Argon 发现了 2 个新的反例家族,进一步否定等离子体物理中已存在近 60 年的 Grad 猜想,并给出了新的 3D 磁场设计。
François Chollet 在 X 上表示,仅靠自回归采样无法解决真实世界物理任务,要实现真正的自主机器人,必须把因果性和离散推理重新工程化进整个循环。他点名 Aether AI 的 Biwei 团队正在做这类基础性、非共识的工作。该团队的 CRIS-0 系统会追踪任务关键条件、预测每个动作带来的变化,并在出现意外时重新规划。
五个前沿模型在智能水平上相差不到 5 分,但每任务成本相差 3.8 倍,Google 的 Argon 以每任务 1.99 美元处于最低端,比最贵的 Fable 5.1 低 74%,比 Opus 5.5 低 67%、比 Muse Wonder 低 56%、比 Astra 低 39%。
Liquid AI 发布开源权重推理模型 LFM2.5-24B-A2B,总参数 24B、每 token 激活约 2.45B,上下文 131,072 tokens,专为笔记本和迷你 PC 上的多步工具调用 Agent 设计,在 Apple M5 Max 上通过 llama.cpp Q4_K_M 达到 184 tok/s。
Andrew Stellman 提出理论并用实验解释 AI 生成文本中 Yoda 式怪异句序的成因,认为是注意力与自回归两种机制共同作用,模型无法回头修改已生成的词。他发现事实以片段而非完整句子给出时更容易被直接贴在名词后面,而 AI 完全能识别并纠正这类句子,例如 ChatGPT 可将"pond"例句改写为自然语序。
Artificial Analysis 将 DeepSeek V4.1 Flash 加入智能体推理性能基准 AA-AgentPerf,榜单现覆盖四款模型。
AMD CEO 苏姿丰在开放计算项目全球峰会上称,2026 年是真正的“AI 推理之年”,预计 AI 推理将占据约 60% 的市场份额,智能体工作负载迎来爆发式增长。
Google DeepMind 向开发者、企业和付费 Gemini 订阅用户开放 Gemini 4 Argon,这是一款稀疏 MoE 前沿模型,单次响应最多可输出 1M tokens,输入与输出共享 1M 窗口。
同一新闻,精选展示《Google DeepMind 发布 Gemini 4 Argon》
作者实测 Google Gemini 4 Argon 的写作能力,让其以起点修真小说风格自写更新公告。该模型统一了 100 万 token 的输入输出窗口,此前输出上限为 64K,官方称回答更直接、减少套话、更好遵循提示词。API 定价为百万输入 2 美元、百万输出 10 美元,11 月 30 日后价格翻倍。