SpecFold:折叠多分支冗余,加速扩散语言模型投机解码
SpecFold 是一种算法与系统协同设计方法,通过折叠注意力与 FFN 复用父分支计算,减少扩散语言模型多分支投机验证中的冗余开销。在两类 DLLM、五个模型和五个基准上,其吞吐量最高达 Spiffy 的 1.64 倍、原生解码的 1.99 倍,且任务性能相当。该方法与时间缓存正交,兼容现有 DLLM 投机策略。
SpecFold 是一种算法与系统协同设计方法,通过折叠注意力与 FFN 复用父分支计算,减少扩散语言模型多分支投机验证中的冗余开销。在两类 DLLM、五个模型和五个基准上,其吞吐量最高达 Spiffy 的 1.64 倍、原生解码的 1.99 倍,且任务性能相当。该方法与时间缓存正交,兼容现有 DLLM 投机策略。
研究用改进版 Revised PSVT:R 测试 GPT-5.6 的 3D 旋转空间推理能力,发现结构化 CoT 推理在 PSVT:R 和带坐标系两个数据集上均提升了基础模型表现。三种 CoT 方法(结构化 CoT、few-shot 结构化 CoT、带自优化提示的结构化 CoT)之间无显著性能差异。但移除上下文信息后,仅靠结构化 CoT 提升有限,模型在空间变换理解上仍存在明显困难。
BitNest 是一种位嵌套投机解码框架,将低精度草稿模型直接嵌入高精度目标模型的权重表示中,使两者共享单一物理权重,无需额外草稿模型。该方法在多个 7B–8B 边缘友好 LLM 上实现平均 95.2% 的投机接受率,端到端解码较 FP16 自回归提速 1.48–1.61x,并将渐进精度设计扩展至 KV cache 以支持长上下文推理。
SpikeMoE 将神经元尺度的脉冲动力学与模型尺度的专家选择相结合,其核心是受海马 CA1 区竞争-抑制机制启发的脉冲 k-WTA 路由,通过侧向抑制和不应期按离散脉冲计数选择 Top-K 专家。
ReSolve 是一种免训练的推理方法,通过选择性生成式审核复用候选推理:当候选答案不一致或无法解析时,调用模型检查已有推导并纳入有界循环。
研究提出一种 LLM 叙事框架,将时序 SHAP 证据与历史市场状态类比结合,用于横截面股票收益预测的可解释叙事生成。在 Qwen3 上逐步外化数值与关系推理后,Qwen3-32B-Instruct 的证据忠实度从 0.696 提升至 0.996,时间与关系准确率同步改善。历史类比虽未提升结构化自动忠实度,但获得了更高的人工有用性评分。
研究用校准良好的 Deep Ensemble 替换高斯过程,为溢油等非均匀现象的路径规划提供不确定性信号。在随机溢油场景中,Deep Ensemble 将归一化重建误差较高斯过程基线降低 83%。
论文提出"动作塑形"概念:训练时在动作通道加入偏移、部署时移除,这一做法此前没有理论保证。作者给出吸收条件——可训练策略只能吸收其输出层能精确复现的偏移,最小实例是学习门控后的零初始化线性头,在 20 个任务上移除该头几乎无代价。精确复现使损失出现平坦方向,偏移幅度可在移除前预示代价。
研究软状态表示中类权重构造与状态动态如何共同决定线性预测精度,针对任意固定可测表示推导出有限样本下最小总体均方根预测误差的置信下界,该下界由独立评估对计算、无需拟合预测矩阵。
JEV-as-a-Judge 提出用只输出标签概率的决策型评审 JEV 做评估,由置信度决定直接采纳还是升级给推理型评审。在十六个生成式与奖励模型评审对比中,凡结论可直接从文本读出的场景,JEV 与 GPT-6 差距在 3 分以内,费用仅为其 0.36%,中位延迟 0.15 秒;在数学、代码、逻辑等需推导的场景则落后。
UnitBoost 提出用定义好的元级算子替代复合 LLM 系统中的生成式管理者模型:任务给定的 unit map 将 worker 输出转为槽值提案,受限 argmax 完成组装,未填充或不支持的槽位成为下一轮的显式残差。
GLANCE 是一种一次性块草拟器,可在不修改 VLM 目标模型的前提下实现无损推测解码,其块扩散头在目标模型已融合的视觉-语言状态上单次前向草拟整个块,目标模型一次验证宽候选树并提交其贪心输出。
研究者提出 refusal-gated decoding(RGD),一种顺序解码方法,可在高温采样下保留模型的贪心解码拒绝响应,同时让其他提示词仍按其原始高温分布采样。
研究者提出 Critic Experience Bank(CEB),一个免训练框架,将已完成轨迹的反馈转化为可复用证据,用于 LLM 智能体的步级置信度估计。CEB 通过为动作打上事后生产力伪标签并检索相关经验,在无需参数更新或真实步级标签的情况下适配任务流。
一项 arXiv 研究对比 46 个 LLM 与两组人类参与者的常识推理表现,发现两者在多种日常情境中呈现趋同的推理模式。通过分析内容不变与内容敏感的模型神经元,研究发现真正让模型与人类对齐的是内容敏感机制,而非内容不变的世界模型。这表明人类与 LLM 的日常因果推理都大量依赖模式匹配。
研究提出"通道转移"机制解释 LLM 多轮交互中的指令遗忘:目标定义 token 通过注意力变得难以访问,但目标信息可能仍保留在残差表征中。团队提出 Goal Accessibility Ratio(GAR)指标,结合滑动窗口消融与残差流探针,在 Mistral 上强制关闭注意力通道后,20 项事实回忆任务准确率从接近满分骤降至 11%,且角色约束违规率超过对抗压力基线。
针对知识图谱问答中答案标签监督噪声大、LLM 精炼监督成本高的问题,研究者提出 RoP 框架,用非对称目标从答案标签中学习轻量级、以问题为条件的路径奖励。该奖励经蒸馏与 GRPO 在线策略优化两阶段训练 LLM 关系路径生成器,在多个 KGQA 数据集上 F1 较答案标签方法提升至少 2.6%,且无需昂贵的 LLM 监督构建。
研究者提出 ARC(Agentic Resource & Configuration learner),将 LLM 智能体配置建模为半马尔可夫决策过程(SMDP),用轻量级分层策略按查询难度动态选择工作流、工具、token 预算与提示词。
研究者提出 Universe of Thoughts(UoT)框架,将组合式、探索式和转换式创造力形式化为可执行的计算算子,并实例化为 LLM 推理框架。在 HypoArena 的 100 项科学假设生成任务上,基于 Qwen3-14B 的 Exploratory UoT 以 32.7% 成对胜率在七种推理方法中排名第一,次优方法为 25.5%。
PuzzleJAX 是一个 GPU 加速的益智游戏引擎与描述语言,用于快速评测树搜索、强化学习和 LLM 推理能力。它基于 PuzzleScript 的 DSL 支持动态编译任意可表达的游戏,并验证了 PuzzleScript 自 2013 年以来数百款游戏。论文发表于 IEEE Conference on Games 2026。
该论文提出一个策略感知框架,用于在固定候选解释集中进行选择,候选解释由不确定性变化、预测方向和区间位置等属性刻画,并结合资格规则、可选双向 Pareto 筛选与策略排序。
WorldSonus 是一个面向世界模型的交互式视频转音频框架,可实时合成空间音效,实时因子(RTF)低至 0.41。它采用流式因果自回归扩散架构,并通过以音频为中心的描述生成管线与分块索引提示词调度,支持生成过程中动态操控声音事件。该框架利用立体声与 ambisonic 数据监督实现空间对齐,在开放域视频转音频基准上匹配或超越当前最优的双向模型。
针对序列推荐固定候选集大小的问题,研究者提出 RLCP(Reinforcement Learning with Calibrated Pruning),用 critic 分数和在线阈值自适应调整保留的动作集,并证明自适应轨迹上代理漏检率的确定性上界。
研究首次系统考察投机解码的安全影响,发现各类有损投机解码方法存在明显的安全-效用不对称:越狱与提示注入攻击成功率的上升速度远快于效用下降。为此提出 SecureSD,理论分析指出安全退化主要源于 draft model 生成的早期 token,故对早期解码位置的 draft token 采用更严格的验证标准。
Selective-RL 通过隔离强化学习阶段的参数更新、保留其主导矩阵方向并迁移至 VLM 的语言模块,在三个模型家族、五个视觉推理基准的 15 项对比中有 12 项优于全量更新插值,Qwen 接收模型在 MathVision 上提升 8.55 个百分点。匹配对照实验表明,仅靠更新幅度或任意低秩无法复现这些增益。代码已开源。
针对互联网级服务故障排查,研究者提出智能体系统 E4,通过受限 DSL 让 LLM 智能体生成无循环数据流程序而非任意代码,兼顾准确性与可解释性。在合成与真实混合负载上,E4 准确率最高提升 62%,成本最多降低 12 倍,同时输出更可解释的响应。
研究发现,通过对比抗偏见与偏见提示词激活值得到的线性去偏见方向,在激活空间中主要编码的是模型置信度,而非有意义的偏见表征。沿该方向进行激活引导虽能降低偏见指标,但实质是让模型在 QA 基准上拒绝作答、整体置信度下降,公平性提升只是副作用。这表明将偏见与置信度解耦的线性表征难以实现,基于引导的去偏见结果需谨慎解读。
针对非线性记忆在序列单次遍历中比线性记忆更难优化、导致串行 TTT 反而不如固定基座并行 TTT 的问题,研究者提出 DeltaTTT,将两层记忆网络的联合内循环优化改为逐层学习,每层分配局部预测目标并通过状态相关的 delta 规则更新,在保留非线性读出的同时支持分块并行计算。在 DeltaNet 和 LaCT 骨干上的实验显示,其语言建模与检索性能均优于各自的循环基线。
研究提出用"下限"(简单输入已能预测的部分)和"上限"(完整输入可预测的部分)两个参照点来解读探针分数,两者之间的"余量"才是模型真正额外计算的范围。在上下文元分析 Transformer 上,分布偏移下探针分数下降、预测误差上升 12–15 倍,但模型恢复的余量比例相近,说明是数据丢失信息而非表征失效。
FlowCF 是一种模型无关的生成式反事实解释方法,将反事实生成建模为从事实类到目标类的稀疏传输,并用流匹配求解,通过新型混合流算子扩展到混合特征类型,再用门控网络优化稀疏性。在六个基准数据集上,FlowCF 取得最佳数值稀疏性与接近度,仅改变 29% 的数值特征,而最佳基线改变 89%,位移小 70%。该工作已被 NeurIPS 2026 GDDL Workshop 接收。
X-OPM 提出一种可解释的自动数字片上功耗建模框架,用树模型捕捉特征交互、线性模型做预测,并引入人在回路工作流平衡精度与建模成本。在商用 C906 向量处理器上,采样窗口小于 8 cycles 时所有负载均达 R² > 0.93,而 APOLLO、COBIT 和标准 MLP 无法在所有测试用例上泛化。
研究重新审视跨分词器 On-Policy Distillation(OPD),发现严格 1:1 对齐组已覆盖大部分学生生成 token,在共享词表上仅保留学生选出的 top-16 子集即可达到与全共享词表 OPD 相当的准确率,并优于所评估的跨分词器基线。
研究构建了含 423 段对话、1,661 个标注轮次状态的多轮基准,用六份数据集和六个开源权重 LLM 测试"不可回答性"探针的迁移能力。探针在数学缺信息(AUROC 0.77-0.97)和篇章缺信息(SQuAD 2.0、MuSiQue,0.77-0.90)间稳健迁移,但单轮探针零样本无法检测对话何时变得可回答。
GeoPID 是一个免训练框架,从几何视角将视觉语言模型中的多模态信息分解为冗余、模态独有和协同三类成分。研究覆盖 22 个 VLM 和 14 个基准,发现正确答案在强视觉依赖问题上具有更强的视觉独有成分。基于此,GeoPID 在推理时选择性放大视觉独有子空间,无需更新模型参数即提升视觉定位能力,平均相对准确率提升 7.63%。
针对现有 LLM 引导的图推理方法因逐跳贪心剪枝而目光短浅、过早丢弃关键证据分支的问题,研究者提出 Foresight-over-Graph(FoG)框架,通过迭代构建问题相关证据子图并用远到近反馈引导路径探索。在 KBQA 基准上 FoG 达到 SOTA,CWQ 的 Hit 提升 16.58%,同时减少 LLM 调用与 token 消耗。代码已开源,论文被 NeurIPS 2026 接收。
研究者提出 QuAR,一种针对量化 ViT 的单次前向测试时自适应方法,不反向传播也不更新任何模型参数,而是在冻结量化器输入端重校准激活值,将测试流的逐通道统计量映射回源校准分布。
SufficientPlan 是一个无需修改预训练世界模型或规划器的部署框架,通过 Paired Sequential Budget Certification(PSBC)为每个模型—任务对搜索并认证一个更小的规划预算,并用 Static-Context Reuse(SCR)跨搜索迭代缓存观测与目标表示。
DySCo 是一个边缘-云协同 LLM 推理运行时,通过将 KV cache 保留在本地并引入 dyForward 层范围执行器,无需重新加载权重即可运行可配置的连续层范围。其深度同步批处理(DSB)将异构请求推进到最深切分点并批处理公共后缀,在平均并发为 8 时吞吐量较 FIFO 提升 275%、较精确匹配批处理提升 48%、较轮询交错提升 79%,同时降低每会话平均延迟。
研究者提出 S1-MAS 多智能体框架,将任务选择、角色分配、消息路由等有界协调决策交给轻量 System One 模型,把开放式推理留给强 LLM,从而解耦协调与推理。在七个基准上对比 AgentVerse、DyLAN 和 SelfOrg,S1-MAS 将 GPT-4o token 消耗降低 44.9%-97.2%,端到端延迟降低 37.8%-93.0%,同时准确率更优。
arXiv 论文指出,AI 自动形式化把自然语言数学文本翻译成 Lean 后,即使形式化证明可被机械验证,也不能保证原始自然语言论证正确。作者证明,为做到语义忠实的翻译所需的歧义消解问题在可解性复杂度指数(SCI)层级中任意高(SCI = ∞),比包括停机问题(SCI = 1)在内的任何计算问题都更难。