离散扩散语言模型的机制引导干预:自适应调度实现不破坏质量的受控生成
针对离散扩散语言模型(DLM)沿用自回归模型的均匀干预策略效率低、质量差的问题,研究者对四个 DLM(124M-8B 参数)训练稀疏自编码器,发现不同属性在不同去噪阶段形成,如 MDLM 上主题在前 2% 去噪内定型,情感则在 20% 过程中逐渐显现。
针对离散扩散语言模型(DLM)沿用自回归模型的均匀干预策略效率低、质量差的问题,研究者对四个 DLM(124M-8B 参数)训练稀疏自编码器,发现不同属性在不同去噪阶段形成,如 MDLM 上主题在前 2% 去噪内定型,情感则在 20% 过程中逐渐显现。
研究者提出首个面向连续查询空间的语义 LLM 响应缓存理论框架,用动态 ε-net 离散化结合 Kernel Ridge Regression 量化估计不确定性,并将部分反馈泛化到连续语义邻域。
论文指出准确预测并不等于世界模型已恢复物理定律,因为不同动力学在同一观测协议下可产生相同记录。作者在固定物理域、显式实验目录、传感器不确定性和采集预算下形式化定律恢复问题,给出率失真逆定理与构造性对偶,并证明紧致世界类上均匀恢复当且仅当任意两条不同定律可被实验区分。
一项研究系统评估了 10 个推理模型在 LLM-as-a-Judge 中的提示词、评分量表与模型选择影响:评分任务中多数评审可靠(1-7 量表上平均绝对偏差 0.11 分),准确率分类任务平均准确率达 96.5%。
STATIC 将前缀树展平为静态 CSR 稀疏矩阵,把不规则树遍历转为全向量化稀疏矩阵运算,实现 TPU/GPU 上的高效约束解码。它已部署在服务数十亿用户的大规模工业视频推荐平台,每步仅 0.033 ms、占推理时间 0.25%,相比 CPU trie 提速 948 倍,相比硬件加速二分查找基线提速 47-1033 倍。据称这是严格约束生成式检索的首次生产级部署,代码已开源。
研究者提出一种免训练、Token 级的提前停止方法,让扩散语言模型在每个位置上独立判断收敛,动态冻结已稳定的 token,从而大幅减少所需扩散步数。该方法利用模型预测与局部上下文的轻量信号决定 token 何时定稿,无需任务特定微调,在数学推理、通用问答和科学理解等多项基准上取得显著效率提升,同时保持生成质量。
VeriFine 是一个 agent harness 框架,通过策略、训练课程与评判器的协同演化来扩展验证能力。其 Policy Improvement Loop 用评分标准评判器诊断反复出现的失败并构建自适应课程,当验证成为瓶颈时,Judge Improvement Loop 针对信息量大的失败案例选择性引入人工指导,通过协同校准精炼评判器。
研究提出用精确遗漏质量恒等式和下游余量条件刻画稀疏解码中注意力质量集中与贪心决策稳定性的区别,并在 Qwen2-0.5B 上测试了查询相关的均值池化块选择器。
SEER 是一个自增强的思维链压缩框架,通过 Best-of-N 采样优化自生成 CoT 数据,再用轻量数据驱动过滤器筛选简洁且正确的推理路径并微调模型。在 DeepSeek-R1-Distill-Qwen-7B 上,SEER 于四个软件工程基准中平均缩短 CoT 长度 34.6%,同时提升任务表现,减少截断和推理循环。
论文提出 HARP 框架,将 LLM 编排中对智能体隐藏偏好的信念从提示词中移出,改为每个智能体在有限候选偏好集上维护一个数值后验,并用贝叶斯规则闭式更新,语言模型只提供动作与各候选的似然。
BreadthKV 提出在固定字节预算下把更多字节分配给低精度缓存 token 而非高精度少量 token,将量化与驱逐结合,并通过 60 题端到端校准为每个模型和预算选择位宽。
研究者提出并行预测世界模型(PPWM),可并行预测有限时程轨迹,同时保留未来表示间的因果交互,从而去除自回归 rollout 中的解码状态反馈路径。在四项视觉控制任务中,PPWM 取得最低的长时程预测误差和最高的 CEM 模拟器成功率,CEM 规划速度较自回归 LeWM 基线平均提升超过 3 倍。
研究者提出 Adaptive Power Sampling(APS),一种无需训练的推理采样方法,按每条查询动态调整锐化指数,依据答案一致性与模型自奖励的关系在测试时逐查询设定。在 MATH500、HumanEval、GPQA 等推理任务上,APS 一致优于固定锐化指数的 power sampling,且无需额外训练。
AnyBottle 提出一种构建紧凑、任务专属概念瓶颈模型(CBM)的方法,仅需冻结骨干网络和无监督概念池(如稀疏自编码器),由黑盒教师模型引导逐轮筛选概念,候选限定在师生分歧区域。该方法在六个视觉和两个文本数据集上,以更少概念实现比无标注基线更高的概念一致性,同时接近黑盒参考模型表现。
AssemState 是一个零样本家具装配框架,先用锚点引导的边界装配状态把手册页拆解为单零件操作并还原装配树,再通过迭代式后状态反馈修正引导 SE(3) 更新,并用仿真释放测试验证物理合理性。
Brain2Semantics2Text 通过中间语义嵌入空间重建文本,将句子级 MEG 响应映射到语义流形后再反演为自然语言,无需词级对齐即可恢复高层语义。该方法针对非侵入式神经记录信噪比低、难以细粒度重建音素或单词的问题,利用跨皮层分布且时间尺度更慢的高层语义表示作为解码目标,与既有非侵入式 Brain2Text 方法相比提升了句子级结果。
研究团队用 AI 辅助在 Lean 4 中完成了庞加莱猜想的形式化,项目起点是几何分析证明所需可复用形式化基础设施有限。他们把数学家准备的证明蓝图与明确的里程碑陈述结合,使多个智能体可以并行工作,也让数学家能定位阻塞点并给出数学指导。论文分析了这一流程中的人工介入与组织选择,并称该工作为未来形式化项目提供了可复用基础设施的起点。
研究者在开放权重语言模型上为道德基础理论(MFT)的六个类别各训练一个线性探针,发现这些方向既不塌缩为单一道德检测器,也不彼此孤立,而是张成接近最大数量的独立维度并共享一个正向公共分量(道德概念平均成对余弦 0.26,对照非道德概念为 0.013)。
MedZERO 是一个面向开放式医学推理的自进化框架,由生成前沿医学问答对的 Examiner 和借助外部知识工具进行多轮循证推理的 Reasoner 组成,并采用受控知识积累机制分别维护临时探索性知识与精选持久知识。
SCOPE 让语言模型在算子词表上做规划、符号引擎执行数值计算、编译器渲染证明,在 218 题测试集上用 135M 主干模型通过 191/218(87.6%)。
研究提出 SHIM,一种离线训练的轻量级校正方法,利用 GCD 工具已维护的解析器和词法状态来修正语言模型下一 token 概率,无需改动模型本身。在 bit-vector 和 text-to-SQL 语法上,SHIM 相比掩码和在线采样显著缩小了与模型语法条件分布的差距,速度接近掩码。仅看下一 token 的变体也能优于两种基线,可兼容不暴露解析器状态的 GCD 工具。
CoMem 将 Transformer 的分割深度 j 变为可复用的上下文轴,每个 token 写入一份深度 j 残差,选取有界 chunk 集后只续算 [j:L) 层。
zkLLMPoT 通过前向评估而非验证优化轨迹,为 LLM 训练检查点提供零知识证明,认证成本与训练迭代次数无关,且无需泄露模型权重或私有训练数据。该框架分两阶段:训练方先固定架构并提交权重,审计方再选取挑战序列,训练方随后证明所提交模型在这些序列上的目标值。在四类模型家族上,1.1-1.5B 参数模型的证明时间为 41-59 秒,13B 模型为 131 秒,序列长度 512 时验证耗时低于半秒。
一篇 EMNLP 2026 论文指出,Surprisal 理论主张语言单位的加工难度是其在大语言模型下 surprisal 的仿射函数,但该主张在缺乏额外约束时是同义反复:对任意非负难度度量,都存在一个语言模型使其 surprisal 与之成仿射关系,因此该理论无法做出可证伪预测。
LeanPlan 是首个用 LLM 生成启发式、并通过机器验证其可采纳性来求解最优规划的系统,在 Lean 4 中实现启发式、证明及带机器验证 grounding 与搜索的高效规划器。
研究者提出 NVFP4 量化方案 OSFP4,对每个线性投影使用对角平滑矩阵,在 NVFP4 下联合优化平滑项与块缩放以最小化矩阵乘量化误差,并兼容 round-to-nearest 与 GPTQ 式逐次干扰消除。实验中 OSFP4 在对应量化设置下取得所评估方案中最高的平均精度,同时保留约 94-97% 的厂商 NVFP4 prefill 吞吐,代码已开源。
研究发现,上下文先验在提升神经到语言解码准确率的同时,会让融合后分数产生"置信度排序反转":在 MEG-MASC 上,区分修复与残留错误的 AUROC 从初始排名 2-3 时的 0.70 降至排名 21-50 时的 0.39,而排名 20 之后的错误占融合后全部错误的 46.6%。
LogiKEy 方法论以经典高阶逻辑(HOL)作为通用元逻辑,将经典与非经典对象逻辑通过语义嵌入编码,使 Isabelle/HOL 等单一证明助手成为学生学习、实验和比较多种逻辑的统一环境。该方法已用于课程、暑期学校和教程超过十年,文章给出从命题逻辑、模态逻辑、动态认知逻辑到道义逻辑和 Gödel 本体论论证的递进式课堂示例,并回应了"将一切嵌入经典 HOL 是多元论还是一元论"的质疑。
研究提出一种免训练的测试时智能体自适应方法,通过测试时记忆演化从既往案例中检索可复用经验并适配当前事实与程序语境,同时以评分标准对齐协作机制校验和修正各角色行动。在 J1-EVAL 和 LegalWorld 上对五个基座模型的实验显示,该方法相较代表性推理与智能体基线取得一致提升,且交互与计算成本合理。
研究者提出自适应路径对比解码(APCD),一种无需重训练或微调的多路径对比解码框架,通过熵驱动路径扩展在高不确定性决策点自适应展开解码,并用散度感知路径对比动态调节并行路径间的对比交互。在四个 LLM 主干、八个覆盖通用与医学问答的基准上,APCD 在事实准确率上持续优于强推理时基线,同时保持有竞争力的推理效率。
研究者提出 PGSVD,一种零样本低秩压缩流程,通过帕累托引导的秩选择和交替最小二乘实现,改进激活感知压缩。该方法将低秩压缩建模为双目标优化,并证明单一统一容差可产生代理帕累托最优的异构秩。在 LLM 和 VLM 上,PGSVD 在相同压缩率下取得更高精度并带来推理加速。
研究者提出 Self-Retrospection Distillation(SRD),将完整轨迹中的事后经验蒸馏为同一策略在交互前的预见预测,预见仅作训练目标、推理时无需显式生成。
研究者提出 Exploration-Distillation(ExpDis)框架,将 RLVR 中的探索与优化解耦:先用带新颖性奖励的 explorer 策略采样并筛选轨迹,再蒸馏到不带新颖性奖励的 student 策略,多轮交替进行。在七个数学推理基准和两个模型家族上,ExpDis 在相同 wall-clock 预算下优于 DAPO,并展现出更好的 pass@k 扩展性。
研究发现 Vision-Language-Action 模型对指令措辞高度敏感,$\pi_{0.5}$ 在 LIBERO 炉灶任务上对 "switch on the stove" 成功率 100%,换成 "switch on the hot plate" 仅 2%。
研究者提出 Expected Decoding Rounds(EDR)目标,将投机解码建模为马尔可夫奖励过程,按状态占用率加权局部拒绝成本,精确等于期望解码轮数且无需额外超参数。
研究者提出 Confidence Reasoning Graphs(CRG),一种推理时框架,仅凭单条轨迹估计 LLM 智能体完成任务的成功概率,无需模型内部信号或训练数据。CRG 将任务声明分解为基于轨迹证据的子声明,逐项估计置信度后聚合为整体置信度。在三个智能体基准、三个骨干模型和三个智能体框架上,CRG 的置信度校准与风险感知决策均优于口头化、采样和白盒代理基线。
三个具备推理能力的大语言模型在 210 道选择题上,被系统提示要求如实、虚假或不顾真假地回答,结果如实作答产生的推理 token 数少于说谎和不顾真假两种情形。该信号无需读取推理链内容,可作为推理轨迹不可用或不可靠时区分诚实与不诚实行为的候选指标,但尚未证明能检测自发欺骗或普遍失准。
研究用 32 个层跳过与重复程序在 Qwen3-4B-Base 和 Llama-3.1-8B 上评估 4,413 道多选题,发现输入盲扰动在共享选项顺序下分别带来 10.2-11.8 和 15.6-19.4 个百分点的余量,超过真实程序的 9.0 和 10.1。
研究者提出 Continuous Memory Machine(CMM),一种在 Continuous Thought Machine(CTM)基础上构建的循环架构,用矩阵值的短期与长期记忆状态承担不同功能,并由一个 Transformer 联合更新两个记忆库,实现双向读写。
研究提出 SemanticFold,一种在学习到的边界处折叠前缀隐藏状态的潜在序列压缩方案,在 Qwen3-1.7B、Qwen3-8B、SmolLM2-1.7B、Pythia-1.4B 和 Pythia-6.9B 五种规模模型上评估。