RINO:无标签重整化群蒸馏,用多尺度结构做高能物理自监督预训练
研究者提出 RINO(Renormalization Group DIstillation with NO Labels),首次将高能喷注形成的多尺度重整化群结构作为自监督学习的视图来源,用不同层级聚类构建跨能标的教师-学生表示,并以 DINO 式自蒸馏对齐。
研究者提出 RINO(Renormalization Group DIstillation with NO Labels),首次将高能喷注形成的多尺度重整化群结构作为自监督学习的视图来源,用不同层级聚类构建跨能标的教师-学生表示,并以 DINO 式自蒸馏对齐。
研究者提出 CodeTriage,一个 0.6B 参数的学习型策略,在生成和测试修订代码前,先读取测试输出、失败诊断和候选编辑,预测该编辑达到修复所需的修复步数分布,从而对多个程序的待处理编辑统一排序。
研究将冻结的 V-JEPA2 特征迁移至 RGB 视频、深度视频与雷达时间序列等异构传感器,用带模态查询、固定传感器槽位和显式可用性标记的共享融合模型,从全部七种非空传感器子集识别呼吸活动与姿态。
针对可验证奖励强化学习中大量 rollout 预算浪费在无学习信号状态上的问题,研究者提出方差驱动的状态重采样方法 VSR,其闭式解为 Neyman 分配 μ_var^π(s) ∝ d^π(s)·σ_π(s),并自然关联 GRPO 的组相对优势、随策略改进涌现出反向课程。
研究者提出一种服务时"跨度否决"机制,使被标记文本对语言模型行为不可见——不被摘要引用、问答忽略、下游过滤不标记,并在 10 个模型、7 种 mixer 家族、0.5B-120B 参数上验证了同长度替换下外部激活逐位一致的非干扰特性。
一项工业级对比研究显示,在基于 Semantic ID 的 LLM 推荐中,单头自回归 Beam Search 在排序与内容 QA 等多数产品关键指标上持续优于多 Token 预测(MTP),在 Qwen3-8B 规模下训练成本约低 2.6 倍,MTP 仅在原始推理吞吐上占优。
该研究公开了 7604 条 Nastaliq 乌尔都语 Facebook 评论语料,并在统一网格搜索协议下微调四种乌尔都语 Transformer,与十二个特征分类器基线对比。最佳配置 MuRIL 达到 87.05% 准确率和 87.06% macro F1,较最强基线提升 5.52 个百分点。词级 SHAP 归因显示,归因质量集中于高频侮辱词,但也延伸至句法中性虚词和源页面特有的政治词汇。
研究评估了五个 DNA 基础模型的冻结表征,在 57 个基因组分类数据集和两个基因表达回归任务上与归一化 k-mer 频率对比。简单 k-mer 特征与多数模型相当,NTv3 表现出一致优势:与全局 6-mer 特征拼接后在 57 个数据集中的 46 个上提升(平均 ΔMCC = +0.072),Caduceus 增益较小,其余模型平均 MCC 未提升。
BharatSetu 22-Indic 1M 发布,这是一个行对齐表格,包含 984,764 条英文句子及全部 22 种印度表列语言的机器翻译(共 21,664,808 个 Indic 单元),由 sarvamai/sarvam-translate 模型族生成。
TabMosaic 是一个统一的上下文扩散模型,可在无需针对特定表格训练的情况下,为未见且可能不完整的表格生成混合类型目标单元格。该模型将扩散去噪目标定义在所有目标单元格的联合分布上,其预训练目标可约束条件负对数似然及与后验预测分布的散度,将上下文学习的贝叶斯解释从单值预测扩展到多单元格联合生成。在 48 个真实表格上,TabMosaic 在所有评估的生成任务中均排名第一,优于 20 种基线方法。
研究提出 HiCAD 两阶段框架,直接将手绘草图和文本描述等多层级人类意图映射为可执行的参数化 CAD 代码,无需预先存在目标 CAD 模型。该框架通过协同多任务对齐弥合异构输入的表示差距,并用空间感知强化学习保证几何与拓扑一致性,同时构建了首个对齐手绘草图、文本描述与参数化 CAD 代码的大规模数据集 HiCAD。实验表明该方法在多项任务上显著优于现有基线,论文已被 ICML 2026 接收。
SARATHI 将结构化剪枝的神经元选择与权重重建解耦:无数据的 NMF Residual Subspace Probe 仅凭权重几何打分,Adaptive OBS 用局部校准批次重建权重,每层峰值内存为 O(d²),并加入 Bias Shift Compensation 修正 LayerNorm 后的激活漂移。
一项大规模实证研究构建了跨层故障分类体系与故障注入追踪流程,覆盖 100 项任务、五个领域、三种工作流拓扑和三种模型配置,共 29,000 余次执行。研究发现,有完整检测记录的失败中 20.7% 没有即时失败信号,部分内容故障时这一比例达 76.2%;Flat 拓扑在通信故障下保持 53.0% 任务成功率,而 Sequential 和 Hierarchical 分别仅为 3.3% 和 3.2%。
研究者提出 SpecWM,一个 JEPA 框架,通过目标相似度核显式指定观测间的关系,并训练编码器在嵌入几何中复现这些关系。时间谱对齐将 CEM 规划成功率从 LeWorldModel 的 52% 提升至 68%(OGBench Cube)、49% 至 77%(OGBench Scene)、29% 至 51%(CALVIN)。结果表明,显式指定表征几何可引导潜在世界模型保留对控制有用的信息。
针对基于上下文的离线元强化学习(COMRL)在参数外推任务上编码器产生训练支撑集外潜在表示的问题,研究者提出悲观潜在任务感知优化(PLATO),通过在训练中扰动推断出的任务潜在表示合成反事实任务,并用学习到的解码器集成在扰动潜在上展开短轨迹,以悲观权重更新策略。在八个 MuJoCo 连续控制基准上,PLATO 在分布外任务回报上持续优于强 COMRL 基线,在分布内任务上保持竞争力。
研究团队在不改动 Nemotron-3-Nano-30B-A3B 主干架构的前提下,将其词表从 131,072 原地扩展至 163,072,使每词 token 数减少 38.6%,并完成约 1.27 万亿 token 的持续预训练。
Gnani-Evon-v3.3-30B-A3B 是一款面向英语及八种印度语言的长上下文混合 Mamba-Transformer MoE 推理模型,基于 NVIDIA Nemotron-3-Nano-30B-A3B 检查点,保留 52 层主干并更换词表、训练数据与后训练目标。
Gugak-VocalSet 是首个公开的韩国传统歌唱音频数据集,包含 24.5 小时无伴奏独唱录音、305 首曲目、20 位专业歌手,并提供约 68,000 个 sigimsae 标注片段(含多标签共 71,700 个实例)。
CodeWalk 提出将已验证的原子编程问题组合成 level-N 任务来生成编程基准,整个构建过程程序化,无需语言模型生成或验证。
StimFlow 用条件流匹配在原生体素空间直接合成 fMRI 响应,单样本即达到 0.371 的逐体素 Pearson 相关,与平均五次采样的基线相当。该方法结合 DINOv2 结构特征与 CLIP 语义特征,无需解码器即可做 ROI 分析和概念定位,并仅用一小时扫描数据就恢复到全量数据一半以上的性能,支持高效的跨被试适配。
ZOIF 是一个仅通过前向传播完成影响函数估计的零阶框架,用于大语言模型的数据选择,无需反向传播。它将影响估计分解为三步无 BP 流程:零阶估计平均代理梯度、以辅助零阶优化求解逆 Hessian 向量积、再沿参数更新方向用前向有限差分得出每样本影响分数。实验显示其选出的数据子集下游效用与基线相当甚至更优,同时峰值内存显著降低、总计算时间相近。
研究者提出 Anchor-and-Harvest Curriculum(AHC),一种面向 Craftax-Full 的规则化训练系统,不使用 LLM 推理且保留全部 43 个动作。
研究团队发布 LENS 基准,用 1,765 道人工校验题目从语言鲁棒性、社会文化视角对齐和领域知识三个维度评测 LLM 对朝鲜的理解。评测显示,模型在朝鲜语输入上性能小幅下降,社会文化视角对齐差距更大,领域知识则严重不足。定性分析发现模型常混淆正式制度与现实生活、套用自由民主假设或依赖刻板印象。
针对 ARPES 四十余年光谱数据因以论文为中心的工作流而仅保留极少部分实验记录的问题,研究者提出构建共享数据生态系统的框架,将碎片化测量及其上下文转化为持久的集体科学记忆。该生态的收益分三个时间尺度展开:近期标准化、可检索、可引用的数据集强化分析流程;中期跨实验室的社区验证工具支持更广泛复用与闭环自动化实验;长期多样化的电子光谱语料可支撑量子物质基础模型。
研究者推出 UDHRBench,用于评估大语言模型对《世界人权宣言》的合规性,数据集含覆盖全部 30 条条款的 1,124 个人权问题,以及 ChatGPT、Grok、Gemini、Fanar 四个模型的 4,496 条回答,由专家人工标注(κ = 0.801)。
针对 LLM 与容量受限人类专家协作的场景,研究者提出在线学习算法 KL-PBD,利用未知可靠性参数的 KL 下置信界指导延迟决策,在 K 个置信水平与时间跨度 T 下实现 O(K log T) 的间隔相关遗憾和 Õ(√KT) 最坏情况遗憾,并证明其最优性。该算法在 GSM8K、NuminaMath、MedMCQA 数据集上使用 Qwen LLM 完成验证。
ShellElastic 是一种弹性 Transformer,将隐藏维度组织为稠密核心与逐层外壳,使每个隐藏矩阵呈块下三角结构,一次全宽前向即包含所有子网络的精确隐藏状态,联合训练计算图固定、每步开销约等于单独训练最宽子网络。
scHFBiMamba 将双向 Mamba 自编码器(BiMambaAE)与 MLP 头结合,把 16,545 基因表达谱映射为 350 维隐表示,参数量 13.2M,比稠密 DAE(192.9M)少约 14.6 倍。
研究分析 600 条编码智能体轨迹发现,轮次数量解释了日志轨迹成本 84% 的方差,而平均观测大小仅占 4%,最昂贵的轨迹轮次最多但观测最小。98.6% 的输入 token 由前缀缓存提供,扁平定价平均高估循环成本约 7 倍。团队发布 TurnCost 工具,可在不同缓存、定价、压缩和路由策略下重新评分轨迹语料。
研究者提出神经符号论证推理系统 NARS,直接从在线讨论中检测说服力:神经部分用检索增强的迭代 LLM 推理抽取双极论证结构,符号部分用渐进论证语义在结构上传播论证影响。
研究者提出 oracle 引导微调方法,将 ASR 的 N-best 候选列表构建为三类监督数据——纠错池(正确答案在列表中但非 top-1)教模型选择、正则化池(top-1 已正确)抑制多余改写、困难负样本池(答案不在列表中)抑制幻觉,从而学习"选择或重写"的混合策略。
InCLAD 是一个将工业视觉异常检测重构为任务增量式持续学习的基准,每个工业部件定义为一个任务,学习目标保持半监督。该基准设置了随机、由易到难、由难到易等多种场景,并包含跨多个数据集的挑战性场景,同时从图像级异常检测和像素级异常定位两个角度评估持续性能。
基于 Qwen3.5 的 90 亿参数决策模型 Clef-Flash 经 4-bit QLoRA 微调后,在 Symptom2Disease 基准的 24 类疾病分类上达到 95.42% 诊断准确率和 0.9551 的 macro F1,超过 ClinicalBERT 的 90.90% 及零样本基线 61.67% 和 65.00%。
UltraBERT 是首个在分类与检索任务上同时达到 SOTA 的编码器,GLUE 得分 91.0、BEIR 得分 47.7。它通过在同一批次内为低、高掩码率分配独立 LM 头,并将蒸馏目标限制在低掩码率,解决了此前单一编码器无法兼顾两类任务的难题。研究还发现编码器在下游任务上超过数万亿 token 后即饱和,且低掩码率利于分类、高掩码率利于检索。
Tab-Loop 将 TabICLv2 的 12 个非共享 ICL 块替换为 4 个共享块循环 k 次,其余编码器、解码器、合成先验与训练配方均不变。
针对多源双层数据选择问题,该论文提出一种新的概率松弛方法,引入多个可学习类别先验,将概率分布参数化在仅由可行数据子集构成的支撑集上,从而自然得到无损舍入方案。该方法具备有效的两点梯度估计器,可同时避免 0-1 松弛所需的逆 Hessian 计算和先前概率松弛中无界得分项,并给出可约简表示以减少梯度计算所需的下层重训练次数。
研究者构建了覆盖英语和九种印度语言的跨语言 TTS 评测基准,并提出一种语言感知的推理时时长估计策略,无需重训练或改动架构即可将语言特定的每字符时长统计引入无对齐 TTS。在双语和多语 A-DMA 模型上的实验显示,语音自然度、可懂度和说话人相似度均有提升,同时时长失配减少。数据集与代码配方已公开。
研究者提出深度渐进框架,通过"深度即通道"的表述,用 2D 生成扩散模型完成 3D 速度模型构建(VMB):将每个 3D 速度体的深度维映射到 2D U-Net 的通道维,由浅至深依次合成重叠深度块,并以浅层预测和井日志等地球物理约束作为条件。
研究者提出 YOUDrive,一种视觉-语言-动作规划器,通过将每位教师的行为蒸馏为任务向量,在推理时缩放和组合这些风格方向,无需重训练主干即可连续控制驾驶风格。
研究者提出 Prior-Fitted Scorer(PFS),用 Transformer 充当多模态对比学习的评分器,并先在由结构因果模型(SCM)先验生成的合成多模态数据上预训练,再迁移到真实数据。在四个真实数据集上,冻结的随机初始化 Transformer 评分器即可媲美强手工对比基线,而先验拟合进一步优于随机初始化;将评分器与编码器联合优化反而效果更差。