Active Neural Matter:面向物理系统与分布式 AI 工作流的有限窗口响应框架
Active Neural Matter(ANM)提出一种有限窗口响应框架,用于判断状态需保留哪些历史交互信息才能解释未来响应。前向分析预测状态与输出对扰动的响应,逆向分析检验候选状态信息是否充分,其分布分离度给出最坏情况误差下界。延迟共识仿真验证了响应幅度与相位的解析预测,AI 实验则识别出复现响应分布所需保留的交互历史与证据顺序差异。
Active Neural Matter(ANM)提出一种有限窗口响应框架,用于判断状态需保留哪些历史交互信息才能解释未来响应。前向分析预测状态与输出对扰动的响应,逆向分析检验候选状态信息是否充分,其分布分离度给出最坏情况误差下界。延迟共识仿真验证了响应幅度与相位的解析预测,AI 实验则识别出复现响应分布所需保留的交互历史与证据顺序差异。
GG-Nav 通过监督微调学习结构化思维链,让导航基础模型显式定位目标并累积接地证据,在 HM3D ObjectNav、VL-LN 和 CoIN 基准上成功率分别超越 SOTA 3.1%、16.6% 和 5.3%。其两阶段设计从中间帧累积证据使证据缺失失败减少 11.6%,显式接地使停止错误降低 49.4%,并已在 Unitree Go2 机器人上实现真实环境零样本泛化。
KV4-RL 将免校准 INT4 KV cache 量化与对 attention sinks 及近期上下文的 INT8 选择性保护结合,缓解 INT4 rollout 带来的学习退化。
针对大语言模型异步强化学习后训练中重要性权重重尾导致有效样本量(ESS)崩溃的问题,研究者提出 Target-ESS Tempered Policy Optimization(TETPO),用数据自适应指数 α 将每个重要性权重 ρ 替换为 ρ^α,并按提示组选取满足目标 ESS 比例 κ 的最大 α。
研究提出 Scene Evolution Understanding(SEU)任务与 SceneForesee 基准,用于评估实体连续性与场景演化推理,包含 144.57K 时序对、1.05M 实体对应和 272.49K Events。
研究提出延续相对评估框架,用下游任务质量与总执行成本联合判断能否用廉价模块替换一段计算,并区分边界表示、被跳过计算的摘要、实际执行操作与下游损失。在 17 亿参数模型上,用 next-token-loss 训练比重建被跳过模块输出使分布内负对数似然降低 0.1901 nats/token,但该排序在全部九组分布偏移配对比较中反转。
一篇综述从控制论视角梳理深度学习,涵盖前馈与残差网络、Transformer、大语言模型和选择性状态空间模型。文章指出残差网络可视为连续时间控制系统的离散化,Transformer 可视为共识算法的离散化,因此大语言模型表现出共识特性;反向传播与最优控制的联系也可在离散与连续时间模型间调和。
TraceSampler 是一种后训练方法,将低步采样的端点误差建模为样本级预测问题,通过两阶段学习残差校正,在不修改预训练模型的前提下提升生成质量。
RUBATO 是一种多流位置编码方法,为全双工语音模型的各条流分配独立时钟,实现流间完全解耦,使模型能在任意推理解码速度下零样本插值,训练仅需两种极端解码速度。
研究提出面向 GUI 智能体的潜在世界动作模型,将预测目标从全屏像素重建转为潜在空间中动作引发的未来信息,用一个大模型共享表示驱动动作选择与转移预测两个专用头,并引入动作感知对比目标缓解身份捷径问题。在离线与在线 GUI 设置中,该方法成功率相对像素空间世界模型分别最高提升 31.9% 和 40.6%,推理延迟最高降低 98.9%。
针对线性注意力中近似多项式核存在不可忽略误差的问题,研究者提出可学习低秩多项式草图 LLoPS,从多项式核近似视角证明其近似误差严格小于现有方法。在大量基准上,LLoPS 相比多种线性注意力基线取得最高性能,该工作已被 NeurIPS 2026 接收。
研究者提出 Next-Concept Modeling(NCM),一种两阶段由粗到细框架:多尺度残差 VQ-VAE 将文本编码为离散码层级,Transformer 逐层生成并并行预测层内所有码。
SAGE 是一个面向智能眼镜的硬件感知受保护 VLM 推理框架,将原始图像与未受保护的视觉 token 留在可信设备上,并把受保护表示压缩为 256 维 INT8 数据包后再传输。
Multi-Ratio ConceptMoE 在共享骨干内同时支持 2、4、8 三种 token-to-concept 压缩比(CR2/CR4/CR8),实现同一上下文内的混合比例处理。
针对 LLM 在未来时间推理中常忽略未来状态差异、对本质易变的事实仍强行给出确定答案的问题,研究者提出 ChronoRegime 任务与 Confidence-Aware Temporal Reasoning(CTR)框架,从时间动态中估计未来可预测性并据此调节作答承诺。
研究用 LLM 程序搜索智能体为 Bermudan 期权生成 Python 执行策略,并以对偶上界 U 与 Monte Carlo 估计审计其有效性。对两条流水线共 24 次生成尝试的审计显示,没有选中的生成程序能稳定超越 Ridge LSMC,或超出 Monte Carlo 误差范围,留出集差距分数与其相差在 0.002 以内。
一篇 arXiv 论文指出,形式化是 AI 驱动计算与理论物理发现的关键层,AI 正在降低物理形式化的门槛并提升效率,但在选择定义和设计库方面仍弱于写证明。论文强调,AI 带来的速度目前以信任、署名和社区为代价,Physlib 等社区评审的形式化库应成为核心基础设施;物理形式化还面临数学之外的挑战,即已检验的证明无法保证其定义忠实反映目标物理。
研究者提出 RSSM-RLPD,让 NAO 机器人在无外部动捕或摄像头的情况下,仅靠机载无迹卡尔曼滤波(UKF)估计状态,学习带球射门。该方法用循环状态空间模型(RSSM)学习新状态表示,且仅在观测到球时修正隐状态。经过 30 分钟真实世界交互,机器人从多个起始位置学会射门,成功率达 100%,而同等训练预算下的前馈策略为 0%。
该论文从占用空间(occupancy space)视角重新审视逆强化学习中的奖励更新,发现沿 e-geodesic 的几何结构直接影响 IRL 对偶问题在奖励参数空间中的梯度。
研究提出"块状共形注入"方法,将循环 Transformer 的残差拆分为坐标对齐的组并在各组内旋转,使每组拥有独立时间尺度而组内几何保持精确。实验显示该方法在末 token 准确率这一状态追踪任务和语言建模上均取得性能提升。论文被 NeurIPS 2026 Workshop "Transitioning from Pre-Training to Post-Training" 接收。
研究者提出 Contrastive Covariance Steering(CCS),一种无需训练的激活引导方法,通过求解对比方差目标以闭式解将引导向量投影到低维子空间,保留目标概念变化方向、抑制与其他类别共享的方向。
研究对比了无标签的遗传多准则排序(Pikaia 策略变体)与 LightGBM、XGBoost、RankSVM 等标签训练 LTR 模型在 MSLR-WEB10K、Baidu-ULTR、WANDS、Expedia 上的偏差鲁棒性。
一项基于算法信息论与通用预测理论的分析表明,任何可计算模型都无法在统一意义上逼近 Solomonoff 归纳:每个模型都有其永远学不会的廉价环境,且任何一致可计算的全预测器族都存在一个环境使其成员在随索引增长的视界之外失败。
研究者提出一个贝叶斯模型来刻画"通过演示进行教学",指出演示者有意教学(展示)与单纯执行任务(执行)时行为存在显著差异。两项人类实验表明,参与者的教学行为与模型预测一致,且标准 IRL 算法在从"展示"中学习时表现更优。
PreSO 通过紧凑提示限制特权信息中的题目细节,并从跨问题表示偏移中估计低秩子空间,将特权修正投影后叠加到学生表示上作为蒸馏目标。在五个竞赛级数学基准上,PreSO 在 Qwen3-1.7B、4B、8B 上平均准确率较基座模型分别提升 6.8、9.0、10.0 分,且各规模最终 checkpoint 平均成绩均为最高。
SemTree 将规则决策表示为语义决策树,每个节点是带明确 Yes/No/Unknown 标准的自然语言问题,由可插拔语义 judge 回答,分支结构按该 judge 的实际回答编译。
SPLICE 将验证与修复移出训练循环,改为离线数据生成:第二个模型仅凭参考解,在推理模型生成轨迹时验证进度、在最后已验证步骤截断失败轨迹,并拼接自适应增强的提示直到恢复进展。用 SPLICE 轨迹微调的模型在 AIME 上超过用未编辑轨迹蒸馏的同一模型,并在经人工评分验证的评分协议下于奥赛证明上同样更优。该模型轨迹在难点处会以拼接提示的风格宣告分支并采取更高风险步骤,预测熵随之上升。
GameSmith 通过让 LLM 在模板内合成游戏来扩展零和自博弈训练,从三个 SPIRAL 模板生成 29 个游戏家族中的 26 个新游戏和 336 个已验证变体,每个游戏经种子配对回放和独立重实现验证。
研究者提出可编辑的 Improvement Dynamics Model(IDM),让自进化智能体在评估前预测修改的任务级结果并指导修订,评估后再用历史修改与结果迭代改进 IDM。基于 HyperAgents,该方法在多语言编程、论文评审、机器人奖励设计和奥赛级数学评分四个领域均优于 HyperAgents,平均性能提升最高达 46%,且在匹配 token 预算和留出任务上依然有效。
研究发现 ReLU MLP 在模加法任务中学习到的是近二值方波输入权重,中间值权重仅出现在符号变化边界附近,输出权重的傅里叶相位满足 φ_out = φ_a + φ_b 关系,该关系在噪声数据上训练、模型未能 grok 时依然成立。
研究团队提出情感分析框架 EmoXpt,用于评估人类对生成式 AI 的情绪态度以及 ChatGPT 回复中的情感表达。基于提及 ChatGPT、OpenAI、Copilot 和 LLM 的推文分析显示,LLM 生成的回复比人类回复更高效、连贯,且情绪始终更积极。
研究者提出决策原生架构 Jeva,通过共享编码器独立表示请求与每个选项,并用紧凑决策栈仅针对请求状态进行精炼,从而同时满足 null-aware、排列不变、选项可扩展与可缓存四项结构要求。
研究者提出 P2T,一种无需训练的方法,通过一阶泰勒近似估计每个 token 对过程奖励的影响,仅需一次前向和反向传播即可提取 token 级奖励信号。在 MathVista 上,P2T 使 Qwen2.5-VL-7B-Instruct 比结果奖励高出 +4.9%;在 AIME24 上,Qwen2.5-Math-7B 高出 +11.5%。代码将开源发布。
研究在含三种致命需求的觅食网格世界中对比主动推理智能体的两种内感受优先化干预:提高精度可锐化内感受后验并提升存活率,偏好重加权则使身体状态远离致命边界并改变学习状态。在72个额外布局上的实验未能证实偏好重加权在困难布局上的预期收益,但两种干预均提升平均存活率且交互为正。仅凭存活率无法完整刻画模型如何优先化需求并学习身体模型。
研究者提出一种按多步任务最终结果校准 LLM 智能体置信度的方法:在 GRPO 下用同一任务的一组 rollout 提供成功标签,并用恰当评分规则对每步置信度打分。
DDRG 是一个基于冻结推理轨迹库的选择性纠错框架,通过构建有依据的声明图并做图对齐,把局部冲突交给不看答案的验证器,仅当验证器支持的驳斥能触及多数答案的支持路径时才触发一次定向修复,否则返回原始 SC 投票结果。
研究者提出 Pairwise-Guided Logit Adjustment(PGLA)框架,受社会选择理论中 Condorcet 原则启发,通过比较支持不同答案的推理路径之间的成对置信度,捕捉答案层面的比较优势,并将其与投票支持结合进一个 KL 正则化目标。
研究在涵盖客服策略、工具调用、网页导航与编程的冻结基准上,为每个下一步动作问题配对同一状态的事实探针,测试了十七个快速 System One 模型与一个推理模型。结果显示多数错误动作发生在正确读取之后,且系统越准确,这类错误占比越高;当探针事实可证明决定动作时,读全事实的模型仍无法组合它们,而用代码组合模型自身答案可修复该失败。真实状态中缺失的往往不是事实,而是下一个子目标。
研究指出,潜在规划器按到目标潜在表示的终端欧氏距离排序候选动作序列时,其路径上"距离不反转真实转移进度"的要求正是经典的自逼近(self-approaching)条件,作者首次将其识别为面向规划器的兼容性条件,并把违反该条件与精确有限时程候选排序反转联系起来。
针对现有 LLM 路由器只用单一质量指标、难以兼顾普通查询与安全敏感查询的问题,研究者提出 SCRouter,分别预测响应的效用与安全性,并用一个小型探针为每个查询确定两者权重,再结合成本选择模型与 token 预算。