CURIO:好奇心驱动的测试时学习框架,用于开放式发现
针对冻结 LLM 搜索无法从测试问题的成败中更新模型、而 RL 又容易过早压制低奖励但潜在有价值方向的问题,研究者提出好奇心驱动的测试时学习框架 CURIO,用内在奖励补充任务反馈。
针对冻结 LLM 搜索无法从测试问题的成败中更新模型、而 RL 又容易过早压制低奖励但潜在有价值方向的问题,研究者提出好奇心驱动的测试时学习框架 CURIO,用内在奖励补充任务反馈。
一项对智能体证明系统端到端追踪的研究分析了三次完整运行中的 51,754 条观测记录(186 小时,花费 5,694 美元),发现三种相互关联的失败模式。三模型验证器要求一致同意,并将解析或 API 失败视为不通过;在 12 次验证事件中有 10 次因某成员未返回可解析输出或出现 API 错误,使接受在算术上不可能。
研究提出 LLM-as-Jev 框架,通过下一 token 在方括号数字标识符上的概率直接提取校准决策,无需生成自由文本,并给出免训练推理方案与微调方案。该工作考察通用 LLM 是否开箱即具备 Jev 式决策能力,以及何时才真正需要微调。
研究将蒸馏决策器与零延迟教师之间的差距拆分为时间与质量两部分。在 ViZDoom 中,一个模仿脚本教师训练的小型决策器在异步对局中命中准确率下降 14.8 个百分点,而按整 tick 折算(tick conversion)几乎预测不出这一损失。
研究提出一套通过推理动态分析上下文影响的理论框架,可对推理行为做超越输出层面答案变化的定量刻画。分析显示,大语言模型的推理动态并非无界变化,且并非所有答案都能被上下文说服。
研究者提出 Sparse Asymmetric Group-Query Attention,通过减少 key head、保留更多 value head 来加速 LLM 推理。该方法发现稀疏注意力中概率与 value 的相乘已可忽略,瓶颈转移到 query-key 计算,因此削减 key head 能提速,而保留 value head 可在解码开销有限的情况下维持模型容量。
研究探索动态路由程序能否为 LLM 开辟独立于 CoT 的第二条测试时适应轴,且无需梯度更新。这类程序执行模型部分层或迭代某些层,此前已被证明能在相似问题上带来准确率和效率提升,本文进一步追问能否从少量样本中快速识别出这类程序。
PyINE 是一个以插桩 Python 程序作为可验证执行基座的可扩展引导与监督框架,用于研究推理模型给出貌似合理但不完整推理时,监督者能否判断输出是否可信。在该框架中,程序定义任务环境,执行轨迹为结果与中间事实提供权威标签。
Yann LeCun 在 ETH Zürich 演讲中称,靠扩展 LLM 实现 AGI 是"不可能的"。他指出 LLM 训练约 30 万亿 token(约 10^14 字节文本,人类需读约 40 万年),而 4 岁儿童仅靠视觉在约 1 年 10 个月内就接收同等数据量。他认为智能是快速学习新任务的能力,扩展只增加存储知识,并不产生这种适应能力。
MarkTechPost 解读决策 AI 模型这一新品类:模型返回带概率的类型化决策而非生成文本。TypeSafe 的 Jev 输入定价 $0.042/百万 token、输出免费,在 TypeSafe 自评中以 0.4 秒每例的准确率追平 Claude Sonnet 5,文章同时对比了 Fastino GLiDE、GLiNER2.5-Decide 与开源竞争者。
BestBlogs 10-03 早报聚焦 GPT-6 系列模型选型,OpenAI 实操文档将 GPT-6 Astra、Sol、Luna 的选择落到任务难度、延迟与成本,并给出推理强度、提示词与技能边界调整建议。
OpenAI 发布 GPT-6 系列选型指南,按任务分为 Astra(最难推理)、Sol(复杂编码、研究与电脑操作)、Luna(目标明确的重复执行)三档,并建议同时衡量成功率、延迟与每次成功任务成本,提示词缓存输入最高可比非缓存便宜 95%。
SemiAnalysis 新一期周报由 Jordan Nanos 等人拆解 GPU 经济性,涵盖 InferenceX 团队的 Engram 内存卸载、AgentX 利润计算器、TPU v7 与 Vera Rubin 对比 Blackwell,并讨论更快的 token 是否值得溢价。此外,TileRT 正在进一步压榨 NVIDIA GPU,周报也探讨了这对专用芯片意味着什么。
针对 VLA 模型低推理速率与机器人高执行速率之间的时序差,研究通过端到端延迟测量拆解了模型推理与机器人执行链的开销,发现重复 Flow Matching 去噪是推理成本的主要来源,机器人侧延迟则主要来自感知采集、通信调度与物理响应。基于速度场在积分早期幅值与方向较稳定、末端步骤方向修正更强的分析,提出阶段感知的两步 Flow 去噪方法,并给出系统级评测。
信息大多隐藏的棋盘游戏 Stratego 此前一直难倒 AI,如今被攻克。相关成果发表于 Nature 论文(s41586-026-11036-y),预印本见 arXiv:2511.07312。
PyTorch 团队将 Helion 集成进 vLLM 的线性后端,用单一 GEMM 实现覆盖 Standard GEMM、Split-K 和 Swap-AB 三种变体,由按形状的自动调优选择最佳变体与配置。
MIT 副教授 Cathy Wu 将强化学习用于交通系统优化,其团队设计的算法可自动筛选适合训练的问题,将训练效率提升至多 30 倍——原本需要 100 个训练模型的任务可能只需 3 个。
马斯克与黄仁勋在《今日亚洲》对话中给出相同答案:AI 竞争力的关键在算力基础设施扩展性与能源供应。双方还讨论了大规模模型训练的能源支撑、通用人工智能安全风险与商业化路径,黄仁勋则从硬件视角分析算力演进。
Google 发布论文 Cogentic,用多智能体编排让 Gemini 在 5 个未解数学问题上找到新证明,并经人类专家逐一确认。系统由多个 Agent 并行尝试不同思路,审查者默认每步有错直到被证明,已证明的中间结果留存到下一轮,多数问题约 100 次模型调用完成。论文地址为 arxiv.org/abs/2609.40324。
研究者提出 Queen,一个 4B 参数的国际象棋语言模型,能在达到典型特级大师(Grandmaster)水平的同时解释自己的走法和计划。该框架通过编码器-解码器架构与迭代蒸馏算法实现领域特定推理,弥补了传统棋力强但不解释、语言模型能解释但棋力弱的缺口。
FrugalEvo 是一个成本感知的 LLM 引导程序进化框架,由成本更高的强 LLM 探索解题策略、更便宜的 LLM 负责实现并迭代优化代码,以最大化单位成本收益而非固定迭代次数下的性能提升。该工作还设计了缓存高效的进化流程,针对圆堆积等计算优化问题,对标 AlphaEvolve 一类方法。
针对掩码扩散语言模型(dLM)中少数去噪承诺决定整体输出的信用分配难题,研究者提出 Pivot-SD 自蒸馏方法,不再只训练最终文本或给整个去噪步骤分配奖励,而是定位并训练那些塑造响应的关键承诺 token。该方法面向 dLM 的并行推理场景,具体效果与可用性原文未给出。
针对终端智能体在编码、调试等多步任务中,后续命令常依赖前序命令产生的信息或中间结果,而现有轨迹级与步骤级信用分配方法未显式追踪命令间的读写依赖,导致训练信号被分配给无关操作,该论文提出 Dependency-Aware Group Policy 方法,将信用分配与命令读写依赖对齐,以强化对关键步骤的学习。
一步生成模型通过蒸馏或学习流映射压缩扩散模型的多步轨迹后,研究者提出"深度即时间"(depth as time)的实证观察:多步扩散在采样步上完成的去噪计算,似乎会沿一步生成网络的深度方向展开。该观察针对生成被压缩为单次前向传播后去噪轨迹的变化。
研究将 PPO 智能体放入一个已有解析解的连续时间经纪商-交易员博弈中,由 PPO 替代经纪商选择交易速度,与知情交易者和随机噪声订单流交互。作者指出,即使奖励信号正确,PPO 仍难以学到解析最优策略,并据此诊断问题、提出引导方法。
针对少步扩散 Transformer(DiT)采样加速,研究指出步蒸馏后相邻采样步间隔变大,跨更大间隔复用张量会引入更多误差,因此缓存对象的选择尤为关键。作者提出求解器感知的目标选择方法,用于决定复用哪个张量,以降低缓存带来的误差。
研究提出任务-工具协同演化框架,实现推理数据合成中的递归 Harness 自我改进(RSI)。在线自我改进将求解器的中间失败转化为可复用技能,任务后自我改进则在每批之后修订技能、提示词与工作流,仅在候选能生成更难问题时才采纳。
OpenAI 发布 GPT-6 家族模型指南,面向初创公司讲解如何选择 GPT-6 模型、调节推理强度、优化提示词与技能、协调工具调用,并为生产环境准备工作流。
研究发现推理模型在因果效应可识别性判断上存在"准确但不健全"的失败模式:会为可证明不可识别的查询给出公式,而这类答案无法用观测数据验证。为此研究者构建了 CERTID 形式化识别流水线,用可证明不可识别的查询和接受等价公式的评分方式弥补以往评测的不足。
针对在线策略自蒸馏(OPSD)中参考解法无法解释学生自身推理为何失败的问题,该研究提出根因引导的在线策略蒸馏方法,避免学生只借用正确结论而推理错误未被解决。研究还指出,在整条轨迹上施加同一事后指导会带来蒸馏陷阱,即对有效推理的不必要约束产生干扰。
一项研究发现,用更少 token 完成任务的效率训练并不必然导致大语言模型的 CoT 推理跳过关键步骤、失去对决策的忠实反映。由于不同效率方法对 CoT 施加长度压力的方式各异,这种损害是否或何时发生此前并不明确。
针对可分解为多个阶段、每阶段有独立转移概率与奖励函数的非平稳强化学习问题,该研究分析了分阶段场景下单一状态增强策略与多策略方案的差异,指出共享策略在理论上可以达到与多策略相当的性能,从而解释了此前多策略更优这一现象的原因。
研究者提出 JIL,一种针对基于预测的 LLM 调度器的攻击方法,通过操纵调度信号让请求获得更高优先级、缩短完成时间。以 TRAIL 为案例,JIL 优化对抗后缀,使轻量级输出长度探针低估请求的输出长度。
EdgeAgent 面向终端多智能体 LLM 的隐私保护端侧部署,解决统一内存架构(UMA)上内存受限解码阶段引发的总线争用问题,避免朴素 CPU-GPU 协同执行失效。该系统还针对多智能体负载中投机解码草稿难度差异极大、工具调用频繁停顿导致的执行碎片化问题做了优化。
前 Google DeepMind 研究员撰文指出,LLM 靠逐个预测 token 生成答案,本质只是 System 1 式的快速直觉,并非真正的推理。他认为 ChatGPT 类模型的思维链仍由同一套 next-token 预测产生,缺乏可检视的持久认知状态、知识与推理的分离,且常事后编造推理过程。他因此离开 Google DeepMind,主张借鉴 AlphaGo 的搜索架构来构建机器推理。
VISTA 是一个视觉框架(harness),让通用多模态模型获得长时程视觉能力,可直接通过视觉观察感知环境,并以无损视觉记忆保留原始历史观察,模型在推理时可主动检索并重组视觉输入。在 ARC-AGI-3 上,VISTA 提升了模型表现。
研究者提出 FERPO(Forward Entropy-Regularized Policy Optimization),一种 on-policy 最大熵强化学习算法,其策略改进直接使用 critic 的价值而不对 critic 关于动作求导,以规避价值预测准确却动作导数不可靠的问题。该方法针对连续控制中依赖 critic 动作梯度更新策略的现有方法所存在的策略更新不可靠风险。
针对语言模型中被反复观察到的"自修复"现象,该研究提出其机制可能源于消融前就已存在的增益,而非组件间的主动补偿。作者将任何对因果重要组件的干预视为反事实对比强度坐标轴 λ 上的一点,指出传统消融方法只是未校准的点。
GeoLatent 提出用几何引导的潜在结构化与路由优化方法,将位置、方向和全局几何分别表示为分解式空间潜在变量,以提升 2D 图像的 3D 空间推理能力。该方法针对几何表示易向单一主导方向坍缩的问题,在几何监督下进行优化。
LLM2Jev 是一个保持架构不变的框架,通过读取模型对括号数字标识符的下一 token 概率,直接提取校准后的分类决策,无需生成自由文本。该框架同时提供免训练推理方案与微调方案,用于判断通用 LLM 何时真正需要微调。