用 Hilbert 几何统一 Muon 在 softmax 极限下的优化方法
针对 Muon 以线性层输出的 RMS 变化近似整个模块、在 softmax 上失真的问题,研究者提出用 Hilbert 距离作为约束输出分布变化的自然度量。该距离可界定交叉熵损失变化并限制概率重分配,在 softmax 下表现为预激活扰动的变差半范数,从而把概率约束转为参数约束。
针对 Muon 以线性层输出的 RMS 变化近似整个模块、在 softmax 上失真的问题,研究者提出用 Hilbert 距离作为约束输出分布变化的自然度量。该距离可界定交叉熵损失变化并限制概率重分配,在 softmax 下表现为预激活扰动的变差半范数,从而把概率约束转为参数约束。
研究者提出模型无关框架 CHASE,通过检测标签迁移并覆盖过时的邻域信号,解决动态图神经网络中"迁移节点"分类性能系统性落后于稳定节点的问题,在全部测试模型和数据集上准确率最高提升 114.9%、F1 最高提升 202.5%,同时保持稳定节点性能。该工作还贡献了三个具有自然标签迁移的动态图基准数据集,代码已开源,论文被 NeurIPS 2026 接收。
针对 RadQA 单一 F1 混淆"报告是否含答案"与"答案在哪个片段"两个决策的问题,研究者提出将假答案率与过度弃答率同 F1 并列报告,并把 F1 变化拆分为抽取项与可答性项。
研究在相同的 14 个分割、分类与回归任务上对 23 个 3D 医学基础模型候选进行基准测试,发现没有任何候选能在所有分割任务或所有分类回归任务中稳居前三。研究同时评测可迁移性估计器,其中 InsightRank 借助任务适配的冻结特征统计与架构感知成对比较,在 23 个模型池上分割任务平均 Kendall tau-b 为 0.431,分类与回归为 0.352。
FlashVSR+ 通过混合注意力架构与奖励产出分布匹配蒸馏(Ry-DMD)训练策略,实现最高 2 倍 DiT 加速和 45% 峰值内存降低,可在单张 24GB RTX 4090 上完成空间不分块的 4K 视频超分。Ry-DMD 利用奖励加权教师 rollout 将黑盒奖励纳入分布匹配,无需通过奖励模型反向传播,并可推广至 T2I 生成。代码、模型与训练数据已开源。
研究提出"推理收缩"概念,指出思维模板、技能库、智能体记忆与缓存把多步推理压缩为一步,但事实变化后记忆会悄然给出错误答案。在五个 LLM 的多跳问答测试中,ExpeL 与 ACE 式计数器比经认证记忆多输出 7.0-13.5 倍过期答案,代码任务上多出 35-73 倍。作者提出按各记忆自身似然比加权失败、对照实时推理认证效用、事实变化时重启证书的方案。
针对 Markov 决策过程安全验证中 Watanabe 和 Unno(2026)提出的失败概率外逼近精化方法,研究者提出统一框架,以显式选定的误差单位度量违反程度:方向得分由外逼近与安全区域之间的支撑函数差除以单位支撑函数归一化。
Box-WAM 提出用任务相关物体的有向边界框轨迹替代全帧视频预测,作为世界动作模型(WAM)的紧凑未来状态表示。该方法在显著降低训练与推理计算成本的同时提升了动作预测性能,表明以物体为中心的紧凑状态可作为机器人操作中基于视频的世界动作建模的高效替代方案。
针对联邦学习金融欺诈检测中恶意客户端投毒问题,研究者提出 Enhanced Detective 双阶段鲁棒聚合策略,结合 MAD、基于距离的更新过滤与 FedMedian 聚合。在不平衡信用卡数据集上,面对 40% 恶意客户端、50 轮通信下的定向标签翻转与权重缩放攻击,该方案取得 0.796 AUPRC 和 0.847 Recall。
YUBI-Real2Sim 是一个基于 3DGS 的场景重建与 real-to-sim 策略评估框架,支持双鱼眼腕部视角,在九组场景-任务对比中有八组复现了真实世界的策略排序。
研究者提出基础事件预测器(FEP),一种可扩展的上下文学习架构,通过事件级非参数推理完成下一事件预测,并将整个预测过程表达为标准注意力操作,可用 FlashAttention 等现代内核并行加速。FEP 在 696 个真实事件数据集上预训练,并在 50 个未见数据集上评估,无需参数适配即可泛化到新事件系统,性能常接近各目标数据集单独训练的强模型,并显著优于现有基础模型基线。
VeriPIE 是一个神经符号框架,将语言模型生成与符号检查结合,通过 Lean 实现的后端校验 QuerySketch 结构化计划语言,并用计划诊断指导修复、以执行一致性和区分性数据库搜索筛选候选。
一项研究评估了六种文本模型和一个图神经网络(GNN)在预设社交噪声构念下缓解虚假信息的效果,数据集为 2024 年 3 月至 2025 年 3 月从 X 平台采集的 50 万条乌克兰话题推文。
研究提出用 Shapley 值衡量模型在模型池中的"组合强度",发现个体能力与协作贡献在 15 个(模型池、方法族)设置中有 12 个不相关,独立基准难以代理模型在协作系统中的价值。
研究在文本网格世界中考察语言模型智能体的状态信念、行动价值与行动偏好如何相互作用,发现任务相关的状态与价值信息在表征层面往往比在行为中更可靠。推理过程中决策会在某个承诺点附近收敛,报告的不确定性也随之下降,但个体信念变化并不能一致解释行动偏好的转变。移植其他决策的推理前缀可影响强制行动,而推理窗口激活编辑对行动的控制有限,表明部分失败源于信息向行动的转化而非信息缺失。
双编码器视觉语言模型在否定理解上系统性失败,对"没有狗的猫"和"有狗的猫"打分几乎相同,该问题源于单嵌入框架的固有缺陷。研究者提出无训练方法 Know-Thy-Not(KTN),在图像侧引入拒绝维度直接惩罚被否定概念,并发布首个需要真正拒绝才能通过的基准 COCO-Confusion。
World-T3 是一个相机控制的视频世界模型,通过测试时训练把过往观测固化进模型参数作为持久记忆,并提出递归最小二乘规则以在线姿态键控方式增量更新记忆。在长时程重访基准上,其重访 PSNR 从 13.52 提升至 18.31 dB,绝对旋转误差从 3.344 降至 1.075,并在单张 NVIDIA B200 GPU 上以 1280 x 704 分辨率维持 20.6 FPS。
研究将肿瘤治疗规划建模为部分可观测下的交互式强化学习问题,用真实临床记录构建患者特异性、过程感知的奖励,智能体需先顺序采集信息再给出首选治疗方案。使用 GRPO 和 GDPO 优化 Llama-3.1-8B-Instruct,GDPO 训练的策略将 Mean@3 临床标量奖励较基座 Llama 提升 79.60%,在同一交互环境中超过 GPT-5.2 达 18.82%,同时减少训练中的查询次数。
研究者基于经典不变量理论推导出对 SE(2) 对称群可证明最优的不变特征映射,兼具最小性与信息保持性,且无需改动非线性层或归一化层。他们据此提出一个即插即用模块,让标准卷积神经网络同时具备平移与旋转不变性,实验显示精度与 SOTA 等变方法相当或更优,计算成本显著更低。论文还从理论与实证两方面分析了等变与不变的关系及其对鲁棒性和灵活性的影响,已被 NeurIPS 2026 主会接收。
针对四旋翼在杂乱环境中因相机视野外运动而碰撞的问题,研究者提出导航策略 ClearNav,通过前视朝向目标与横向速度惩罚两项奖励约束运动方向,并加入近障碍减速项。
一篇 arXiv 论文提出面向来源的智能体工作流失败分类体系,结合失败类型词典、工作流阶段定位与智能体能力定位,构建以工作流阶段为横轴、智能体能力为纵轴的双轴定位矩阵。实证对比显示,文献中的失败集中在规划、推理、学习、感知与知识相关机制,而 GitHub 上的失败集中在执行阶段、执行动作、工具、API 与基础设施,迭代执行与执行动作是主要热点。
研究者提出视觉 token 压缩框架 ReConV,用紧凑的 Summary Bank(SMB)汇总完整视觉序列,并依据重建残差保留 SMB 未能充分捕捉的 token,每个压缩层由轻量位置条件解码器重建当前 token。在 ImageNet 上,ReConV 以少 48% GMACs 超过未压缩基线,并支持可复用的图像级表示以加速多轮推理。代码已发布于 TokenDrop。
研究者提出跨视图时频扩散框架 CrossTF,利用时间视图与频率视图去噪器之间的差异实现极端感知的时间序列生成。该方法发现极端敏感的跨视图不对称性,并据此在冻结两个去噪器后,仅需在晚期跨视图窗口内用基于极值理论的目标学习逐步融合参数。在 7 个真实数据集上对比 11 个基线,CrossTF 将极端保真度提升 26.1%,整体性能提升 7.4%。
EQNet2 是一个几何感知的多站 Transformer,可联合预测震相到时、初动极性、震源位置与震级,并将到时关联为地震事件。在北加州测试数据集以及 Ridgecrest 和旧金山湾区的连续波形上,它恢复了更多微弱到时、产生更少误检,并将更多拾取关联为已定位事件。其学习到的注意力沿时间—距离模式跨台站连接信息,与地震走时规律一致。
研究提出 asymptotic e-detectors,将序列变点检测重构为投注博弈,允许检测器随新观测持续更新假设的偏移方向,并在校准集规模 m 增大时渐近控制平均误报运行长度,m=30 即可有效控制。
MetaGrid 是一个拓扑感知的 Transformer,通过跨市场元训练,用一套与区域数量无关的参数适配未见过的电网。在五个美国 ISO 的无泄漏基准上,MetaGrid 取得最低平均 MAE,比最佳基线提升 3.1%,比同架构从零训练提升 7.7%。
研究者提出 Gradient Confusion Defense(GCD),一种无需重训练、确定性的测试时封装方法,通过求解基于模型 Jacobian 的约束优化问题,将暴露的 logit 梯度对齐到与真实对抗损失梯度最大程度错位的混淆方向,从而提升攻击的查询复杂度。
HASTE 是一个面向生成式推荐模型的统一训练框架,通过分层损失和属性特定损失,在语义 ID 的每一层级提供监督并保留细粒度物品属性。其分层损失收敛速度约为标准因果交叉熵目标的 2 倍,并在时尚推荐基准和 Amazon 数据集多个领域上提升了推荐性能,尤其改善了长尾物品的推荐效果。
研究者构建了覆盖 Dafny、Lean 4、Isabelle 和 Rocq 四种形式语言的规格形式化端到端基准,共 3,234 行,每行将自然语言需求与形式化产物配对,其中三分之一为保持语义的改写。他们提出 claimcheck,先将形式化产物翻译回英文,再由独立 judge 模型判断其与需求是否表达同一保证,在四种语言上较单次调用基线提升 8.2 至 9.8 个百分点的宏召回率。
研究者提出 MID(Mask-Image Distributional Divergence),一种面向医学图像分割的分布级评估指标,无需逐样本配对真值掩码,通过比较参考集与预测集的图像-掩码联合分布来同时衡量掩码真实性与图像-掩码一致性。
研究者通过现代 Hopfield 模型重新审视 Transformer 注意力的统计力学,提出自由能形式化框架来刻画稳健注意力推理的参数区间与临界阈值。该框架将注意力视为统计力学系统的运动方程,并识别出注意力在玻璃态与稳健推理相之间的第一相变,进一步扩展到具有随机 query 和 key 的注意力机制。
JEDI-net(Joint Embedding with Dynamic Integration Network)是一种统一架构,在优化过程中周期性对 SHAP 值聚类,识别具有相似特征重要性模式的潜在子群,并将其身份直接嵌入网络,使预测能适应每个观测的预测结构。该工作基于此前的 FORCE 方法,后者已证明按特征重要性画像聚类可提升神经网络性能。
StartLux-Decision 推出 0.8B 至 27B 参数决策模型,Instant 版以双向注意力保持单次推理,AutoThink 版对不确定决策显式推理、对高置信案例直接作答。
研究提出相位条件可供性场(PAF),在观测点云上学习逐点分数,用其分数加权质心作为相位条件锚点对观测与动作做规范化,并将分数作为逐点特征,从而在保留全局 SE(3) 等变性的同时引入局部几何归纳偏置。在多种空间随机化下的 MimicGen 任务中,PAF 持续提升底层策略成功率;在多物体真机任务上优于基线,并在光照变化下保持领先。该工作已被 CoRL 2026 接收。
研究提出用归一化互信息(NMI)检验网络是否真正学到数据增强中的对称性:在有限离散设定下,等变性要求原始与变换输入的表示能相互完全确定。针对高维激活,采用 centered kernel alignment(CKA)作为可扩展检验,对正交特征变换有精确保证。跨架构与任务实验显示,数据增强通常提升变换一致性,表明可直接从表示中探测学习到的等变性。
EneMonIE-Backend 将原 EneMonIE 概念流程重构为模块化、可执行且与应用无关的后端,分离数据源、采集与规范化、语义处理、知识组织、持久化五层。
研究将 PDE 神经代理训练建模为数据量与保真度的联合优化问题,把保真度视为细粒度离散谱而非二元区分,在固定数据生成算力预算下实现帕累托最优误差扩展。使用低保真度模拟作为额外训练信号,最优保真度混合训练可匹配纯高保真度训练的精度,数据生成算力最多减少 6.3 倍。该结论在六个 PDE 问题、两类误差来源和四种代理架构上验证,总计超过 7,000 次训练运行,已被 NeurIPS 2026 接收。
开源包 spotregen 实现了 Fowler 提出的七项再生式软件原语,让程序可被删除重建而不丢失知识:知识以机器可读记录存于受追踪目录,每个单元据此生成包含架构、意图、决策、公共契约、评估与消费者但无实现的 regeneration bundle。
FreeSolo 是一种原生稀疏注意力机制,通过短程滑动窗口分支与长程分支直接对关键点单元做 token 注意力,其线性时间变体 FS-L 经短 CPT 学习在查询相关选择前剪枝前缀,FS-B 以 O(N log² N) 算法成本搜索平衡树。无需长上下文微调,FreeSolo 的零样本长度外推表现优于基线。
研究者提出 FOSA(Generative Flow on Symbolic Abstractions),通过将抽象策略参数化为生成流网络来构建符号任务骨架,再把每个骨架编译成仿真环境,以底层策略学习表现作为抽象策略的奖励信号,从而发现贴近机器人能力前沿的可执行任务。
共 2000 篇论文