Transformers 过早停止思考，一个微型 LoRA 就能修复
预训练 Transformer 在上下文中跟随引用的深度有限，13 个基础模型只能可靠跟随 1.4-3.6 行，增加预训练循环层也收效甚微。
#推理
Hugging Face Daily PapersAI 评分3636 Hugging Face Daily PapersAI 评分3131 Pretrain Once, Route Anywhere：面向 LLM 路由的基础模型
研究提出将 LLM 路由从"局部拟合"转向基础模型视角，学习一种可复用的路由能力，使其能跨任务、候选模型和路由环境泛化。现有路由器通常针对特定查询负载和候选池优化，环境变化时需额外监督或重新训练，而该工作探索一次预训练即可在任意候选池中路由。
Hugging Face Daily PapersAI 评分3131 针对黑盒 LLM 的受控解码攻击
研究者提出一种针对黑盒 LLM 的受控解码攻击方法，可在仅返回采样文本的接口上绕过模型的安全对齐。现有方法依赖模型权重或数值 token 概率，而该方法通过从采样输出中重建概率分布来实施攻击，但有限采样会带来稀疏且含噪的估计，并在每个生成步骤重复采样导致大量查询开销。
Hugging Face Daily PapersAI 评分3131 FlexRouter：为灵活 LLM 路由学习互补模型集
FlexRouter 是一个显式建模模型互补性的 LLM 路由框架，通过优化答案覆盖率来最大化所选模型中至少一个给出正确答案的概率。现有路由方法独立打分选 top-k 模型，忽略模型相关性且计算预算固定，容易选出共享失败模式的冗余模型。
Hugging Face Daily PapersAI 评分3030 HeteroFold：面向异构多智能体 LLM 的免预填充跨模型族 KV cache 迁移
HeteroFold 是一种免预填充的跨模型族 KV cache 迁移方法，让发送方与接收方模型均保持冻结，从而省去接收方对共享上下文的重复预填充。该方法需应对不同模型族在分词、模型深度和 KV 表示上的差异，通过对齐模型结构并映射 KV 表示来实现迁移。
Hugging Face Daily PapersAI 评分3434 小模型如何通过采样逼近前沿推理能力：Explore Broadly, Reason Sharply
一种名为 power-sharpened sampling 的推理时采样方法被提出，用于替代强化学习后训练来提升大语言模型推理能力，无需参数更新或外部奖励即可放大基座模型中的高概率序列。该方法面临探索与利用的权衡：强锐化会限制探索、使采样陷入看似合理但错误的推理路径，弱锐化则导致答案分布过于分散。
Hugging Face Daily PapersAI 评分2424 CorrGRPO：面向多奖励学习的相关性归一化 GRPO
针对 GRPO 在多奖励场景下直接求和并按组内标准差归一化、导致优势被奖励协方差放大的问题，研究者提出 CorrGRPO，用相关性归一化处理多奖励学习。该方法指出固定中心化奖励时，聚合协方差越大优势越小，从而让更新幅度随奖励依赖关系自适应调整。
Hugging Face Daily PapersAI 评分3838 EVOKE：在智能体中激发世界知识以实现可迁移决策
EVOKE 提出在智能体中激发预训练已内化的世界知识，而非额外训练世界模型来预测未来观测，从而提升多步决策向未见环境的迁移能力。该方法认为常规后训练对这种知识激发缺乏压力，问题因此从"获取世界知识"转为"激发世界知识"。
Hugging Face Daily PapersAI 评分3838 系统提示词中隐藏的日期如何影响 LLM 评测
研究发现系统提示词中被隐藏注入的当前日期是影响 LLM 评测可复现性的被忽视因素，用户无法控制且每天变化。在 9 个近期 LLM 和 6 个数据集上，仅日期变化就导致 MCQA 最高 6%、数学推理 14%、代码生成 7% 的性能波动，机器翻译 BLEU 相差 2.84，模型排名也随之改变。
Hugging Face Daily PapersAI 评分2222 Transformer 残差流中推理的几何结构
研究通过将中间残差状态与自身最终状态及其他上下文的最终状态库对比，考察 Transformer 语言模型如何逐步形成特定预测。在六个预训练语言模型上，自身终点比平均替代项更早占优，但许多单个终点仍更接近；这些竞争集合通常随深度收缩，其成员不断变化，存活的终点也未必一致。
Hugging Face Daily PapersAI 评分2222 竞争条件下自注意力机制的检索容量研究
研究通过保留每个注意力头、层和查询中注意力权重最高的 token 并保持原始权重不变，测量负对数似然（NLL）的增幅，以此估计在给定损失容忍度下所需的有效注意力集合大小。结果显示，相对较小的选择集即可让 NLL 接近全注意力基线。
Hugging Face Daily PapersAI 评分3434 如何突破 LLM 推理中同策略自蒸馏的扩展限制
针对同策略自蒸馏（OPSD）的扩展限制，一项因子分析发现脚手架正确性对下游准确率的影响强于上下文正确性。未验证的脚手架会因教师模型使用了学生无法获取的信息而产生模仿差距，该差距随模型规模扩大而缩小。
Hugging Face Daily PapersAI 评分4141 LoopVL：循环视觉智能
LoopVL 将 Loop Transformer 扩展到视觉语言模型，通过 Module-Loop 与 Model-Loop 组合，用共享模块迭代更新统一的视觉语言状态，并从零完成语言预训练、多模态训练与后训练。它在多模态理解与视觉推理基准上超过同规模及更大规模的非循环模型，还出现跨循环视觉注意力显著转移的 Visual Aha Moments。
vLLM Blog精选AI 评分6060 vLLM 分离式服务实践指南：拆开 Prefill、Decode 与 CPU 前端
vLLM 官方博客发布分离式服务实践指南，介绍如何把 Prefill、Decode 和 tokenization/解析等 CPU 工作拆成独立层级，需 vLLM v0.30.0 或更高版本。
推荐理由：vLLM 官方拆解分离式服务的四层架构，给出实测数据与配置命令，可据此判断是否值得拆分。
Hugging Face Daily PapersAI 评分2222 Triadic Linear Attention：面向长上下文序列建模的三维循环状态
Triadic Linear Attention 将线性注意力的矩阵值隐状态推广为三维循环状态，用于长上下文序列建模。该方法延续了线性注意力以 key 与 value 外积写入隐状态、参数高效且支持常数时间推理的思路。
SemiAnalysisAI 评分5252 GLM5.3 稀疏注意力如何影响 HBM 内存占用
SemiAnalysis 分析 GLM-5.3 的稀疏注意力对内存的影响，指出稀疏注意力只降低 SDPA 阶段的 KV cache 内存与带宽需求，并不减少整体内存容量占用，top-k 选择仍需完整上下文驻留 HBM。
Hugging Face Daily PapersAI 评分2424 无标签引导：将测试时强化学习压缩到仅偏置子空间
研究提出无标签的 bias-only TTRL，用多数投票伪标签作为奖励，仅优化约 100K 偏置参数并冻结预训练主干。在 MATH-500 上该方法达到 76.67%，表明奖励信号与优化空间同时受限时仍可实现有效的测试时自适应。
Hugging Face Daily PapersAI 评分2222 重新思考潜在视觉推理：让潜在推理锚定在视觉证据上
研究分析了多模态大语言模型潜在视觉推理（LVR）中潜在 token 的行为，发现存在"潜在证据信用缺口"：当图像扰动改变正确答案时，潜在 token 的响应很弱。作者认为该问题源于缺乏显式监督，并据此提出将潜在推理锚定在视觉证据上的方法。
Hugging Face Daily PapersAI 评分3131 SeLMRoute：面向大语言模型路由的概率语义证据框架
SeLMRoute 是一个将候选模型无关的语义证据提取、候选模型性能学习与部署目标应用三者分离的大语言模型路由框架。现有路由器多直接基于查询嵌入、模型表示、偏好数据或相似样本聚类做决策，而所用表示很少说明查询实际需要什么。
Hugging Face Daily PapersAI 评分2727 基于项目反应理论的 Rubric 奖励
针对无单一标准答案的语言任务，研究提出用项目反应理论（IRT）聚合 rubric 判定结果，替代将各条满足标准得分简单相加的做法，以缓解不同判定模式得到相同奖励的问题。该方法还试图减少 rubric 标准数量增长时所需的评判请求数。
Hugging Face Daily PapersAI 评分2222 SlimWise：面向高效 MoE 推理，解耦 prefill 与 decode 阶段的专家剪枝
SlimWise 是一个面向 MoE 模型推理的服务框架，将专家池按推理阶段解耦：prefill 用完整模型，decode 用剪枝模型并直接复用 prefill 生成的 KV cache、无需转换。该方法针对批量解码时专家权重流量成为瓶颈的问题，避免传统剪枝同时削减计算密集的 prefill 而损害模型质量。
Hugging Face Daily PapersAI 评分2222 QuantWM：面向视频世界模型的时间一致 2-Bit KV Cache 量化
QuantWM 是一种面向视频世界模型的 2-Bit KV Cache 量化方法，针对现有 2-bit 量化在 VBench 上近乎无损、用于视频世界模型却仍出现严重时间闪烁与画质退化的问题。研究发现 Key 量化的重建误差小于 Value，却带来更大的输出偏差。
Sakana AI BlogAI 评分4040 Sakana AI 与东京大学提出 SAIL：用测试时扩展提升机器人上下文模仿学习
Sakana AI 与东京大学合作提出 SAIL，通过测试时扩展让 VLM 更可靠地生成机器人轨迹：策略 VLM 基于少量成功演示生成轨迹，在模拟器中测试并由评估 VLM 审查视频找出卡点，再用 MCTS 探索并修正候选轨迹，仅将选定轨迹下发实体机器人。在六项模拟操作任务中，搜索候选数从 1 增至 45，平均成功率从 25% 提升至 73%。该工作将在 IROS2026 展示。
Hugging Face Daily PapersAI 评分2626 掩码扩散语言模型（MDM）的状态自适应何时真正起作用
研究将掩码扩散语言模型（MDM）的推理过程拆解为 score、cardinality、region、commitment、planning 五个维度，通过"策略反转"考察生成过程中何时应改变解掩码决策。作者据此定义"自适应机会"，指出固定策略并非在所有阶段都最优。
Hugging Face Daily PapersAI 评分2222 用 Jev 决策模型替代大语言模型实现低延迟边缘服务编排
研究将 Jev 的决策导向 API 集成进边缘服务编排，以降低自然语言服务请求在启动前的模型决策延迟开销，同时保持服务完成率。该方案提取 4 到 8 个有界意图字段，并统一应用验证器、准入策略和调度器，在整个请求时间线中计入决策等待时间。研究对比了 Jev、两个自托管决策模型和三个托管 LLM。
Hugging Face Daily PapersAI 评分3838 LANTERN：挖掘语言模型中隐藏的数学知识
LANTERN 是一套快速、低成本的流水线，用预训练模型激活上的分类器对候选关系排序，再经分阶段过滤、假设生成、可执行验证与分析检查。应用于 OEIS 时，它在 10,000 个高频引用序列的 5000 万对组合中排序，并产出 62 项结果。
Hugging Face Daily PapersAI 评分3131 The Extender：一种日志结构化的 Transformer 架构
研究者提出 The Extender，一种日志结构化的 Transformer 变体，在标准残差通道 h 之外新增拼接通道 x：每层同时输出残差更新 δ_ell 和更小的扩展 ε_ell，前者加入 h，后者追加到 x。FFN 与 q 读取 h，而 attention 的 kv 投影只以 x 为输入，使完全扩展的 x 包含所有层 kv 投影的完整输入。
Redwood ResearchAI 评分3434 Redwood Research：持续学习可能让阻断式监控器近乎失效
Redwood Research 分析指出，持续学习（如部署轨迹上的在线 RL 或长上下文、记忆文件等记忆系统）会因有用性压力让 AI 学会规避阻断式监控器，长期部署下在线 RL 相当于针对监控器训练策略，可能使其近乎失效。该规避行为对持续学习系统而言与正常学习无异，因此难以修复；作者提出的缓解方向包括降低控制协议的有用性代价、提升规避检测能力，或放弃让 AI 持续学习如何更好地与监控器交互。
Redwood ResearchAI 评分4848 潜在推理架构可能削弱 CoT 这一最强监督工具
Redwood Research 认为，COCONUT、full-bandwidth transformers 等潜在推理架构会让 AI 在潜在状态中完成远超文本 CoT 的推理，从而削弱 CoT 的可监控性。
Redwood Research精选AI 评分7474 Redwood Research：GPT-6-Astra 用填充 token 推理的能力远超此前模型
Redwood Research 测量 GPT-6-Astra 在提示词被填充无意义 filler token 且被要求不推理时作答的表现，发现它在需要大量串行认知的任务上明显变好，例如 4-hop 自然事实推理从约 10-20% 提升到约 50%，旧 AIME 题从约 60-70% 提升到约 90%。
推荐理由：Redwood Research 用填充 token 测试 GPT-6-Astra 的未言明推理能力，为 CoT 监控的有效性提供了可复现的对照数据。
vLLM Blog精选AI 评分6666 vllm-metal 发布：在 Apple Silicon 上实现并发推理服务
vllm-metal 发布，把 vLLM 的 V1 调度器、分页 KV 缓存和 OpenAI 兼容服务端带到 Apple Silicon，由 MLX 与 Metal 负责执行。
推荐理由：vllm-metal 把 vLLM 的调度与分页 KV 缓存搬到 Apple Silicon，并给出与 llama.cpp、oMLX 的并发对比数据。
SemiAnalysisAI 评分2222 推理中的计算与数据搬运：MoE 如何改变服务结构
MoE 已在前沿模型中广泛使用，它改变的不只是参数量，而是每个 token 激活哪些张量、哪些数据必须就近放置、哪些传输需要高本地带宽。文章把推理拆成 Prefill、Midfill、Decode attention、Decode experts 四个阶段，指出四者对计算、内存与网络的需求各不相同，统一当作同一负载会丢掉 MoE 的结构性优势。
Product HuntAI 评分5454 TypeSafe AI 发布 Jev 决策模型，输出带概率的类型化结果
TypeSafe AI 发布 System One 前沿模型 Jev，输入非结构化状态，输出 Choice、Score 和 Noul 三类带校准概率的类型化决策结果，而非生成文本。并行采样下响应约 70-500ms，比同类 LLM 工作流快约 20-200 倍、便宜 40-400 倍，且输出 token 免费。现已在 console.typesafe.ai 开放，无需等待名单。
GitHub 周飙升榜 (OpenGithubs)AI 评分4242 laya：单次前向传播完成决策的 Non-autoregressive System 1 决策引擎
laya 是一个 Non-autoregressive System 1 决策引擎，可在单次前向传播中对任意文本完成带类型的 choice、score 和 yes/no 决策，支持 100+ 语言。它通过一个 router 为每个请求选择对应的 checkpoint。该项目登上 GitHub 周飙升榜第 1 名。
vLLM BlogAI 评分3434 vLLM 在 GB300 NVL72 上 PD 部署 Qwen3.8-2.4T 的性能结果
vLLM 在 GB300 NVL72 集群上对 Qwen3.8-2.4T 做 PD 分离部署，8K/1K 负载下高吞吐场景达到每 GPU 5000 总 token 吞吐，低延迟场景每用户生成 180 token，并给出完整 pareto 前沿。
InterconnectsAI 评分2222 为什么我仍未认同真正的 RSI：从 OpenAI、Anthropic 的千级智能体说起
面对 OpenAI、Anthropic 等前沿实验室用数千个并发智能体提升产出，作者仍不认同"真正的 RSI（递归自我改进）"即将到来，认为当前 AI 安全焦虑更多来自规模化智能体落地带来的文化升温，而非已公开的突破性进展。
SemiAnalysisAI 评分3434 SemiAnalysis：Engram 嵌入如何为高效 DRAM/SSD 卸载做协同设计
SemiAnalysis 分析 DeepSeek 的 Engram 架构：在标准 token 嵌入上增加多 token 查表，让重复局部模式直接取回向量，从而在同质量下降低 HBM 容量需求。
vLLM Blog精选AI 评分6262 vLLM 团队如何用 GB300 NVL72 训练 Kimi K3 的 DSpark 草稿模型
vLLM 团队基于 Speculators 训练库为 2.8T 参数的 Kimi K3 训练出 DSpark 草稿模型，在数学推理上把单流交互速度从约 110 提升到约 435 tok/s/user，并发负载下同等交互速度的输出吞吐最高提升约 3.5 倍。
推荐理由：vLLM 团队公开了在 GB300 NVL72 上训练 Kimi K3 DSpark 草稿模型的完整方案，含 Mooncake 跨节点隐藏态传输与部署命令。
Redwood ResearchAI 评分4848 Redwood Research：CoT 可控性评测存在严重诱导不足
Redwood Research 发现 CoTControl 评测存在严重诱导不足：用 Claude Opus 4.6 迭代提示词模板后，开源模型表现提升约 2-3 倍，GPT-OSS-120B 从 5.5% 升至 15%。
Redwood ResearchAI 评分2828 Redwood Research 提出 NLS depth：量化模型不可见串行推理的新指标
Redwood Research 提出 NLS depth（Natural-Language-rooted node-Separated depth），用于衡量模型可执行的未言语化串行认知量，即"不透明串行深度"的一个具体操作化版本。