跳到正文
10月8日周四
  1. arXiv cs.AI28

    SpecFold:折叠多分支冗余,加速扩散语言模型投机解码

    SpecFold 是一种算法与系统协同设计方法,通过折叠注意力与 FFN 复用父分支计算,减少扩散语言模型多分支投机验证中的冗余开销。在两类 DLLM、五个模型和五个基准上,其吞吐量最高达 Spiffy 的 1.64 倍、原生解码的 1.99 倍,且任务性能相当。该方法与时间缓存正交,兼容现有 DLLM 投机策略。

  2. arXiv cs.AI24

    用结构化 CoT 提升 AI 空间智能:GPT-5.6 的旋转可视化与推理

    研究用改进版 Revised PSVT:R 测试 GPT-5.6 的 3D 旋转空间推理能力,发现结构化 CoT 推理在 PSVT:R 和带坐标系两个数据集上均提升了基础模型表现。三种 CoT 方法(结构化 CoT、few-shot 结构化 CoT、带自优化提示的结构化 CoT)之间无显著性能差异。但移除上下文信息后,仅靠结构化 CoT 提升有限,模型在空间变换理解上仍存在明显困难。

  3. arXiv cs.AI24

    BitNest:面向内存高效 LLM 推理加速的位嵌套投机解码

    BitNest 是一种位嵌套投机解码框架,将低精度草稿模型直接嵌入高精度目标模型的权重表示中,使两者共享单一物理权重,无需额外草稿模型。该方法在多个 7B–8B 边缘友好 LLM 上实现平均 95.2% 的投机接受率,端到端解码较 FP16 自回归提速 1.48–1.61x,并将渐进精度设计扩展至 KV cache 以支持长上下文推理。

  4. arXiv cs.AI22

    面向股票收益预测的可信 LLM 叙事:推理外化框架

    研究提出一种 LLM 叙事框架,将时序 SHAP 证据与历史市场状态类比结合,用于横截面股票收益预测的可解释叙事生成。在 Qwen3 上逐步外化数值与关系推理后,Qwen3-32B-Instruct 的证据忠实度从 0.696 提升至 0.996,时间与关系准确率同步改善。历史类比虽未提升结构化自动忠实度,但获得了更高的人工有用性评分。

  5. arXiv cs.AI22

    动作塑形:策略只吸收其能表达的东西

    论文提出"动作塑形"概念:训练时在动作通道加入偏移、部署时移除,这一做法此前没有理论保证。作者给出吸收条件——可训练策略只能吸收其输出层能精确复现的偏移,最小实例是学习门控后的零初始化线性头,在 20 个任务上移除该头几乎无代价。精确复现使损失出现平坦方向,偏移幅度可在移除前预示代价。

  6. arXiv cs.AI47

    JEV-as-a-Judge:置信时接受,不确定时升级

    JEV-as-a-Judge 提出用只输出标签概率的决策型评审 JEV 做评估,由置信度决定直接采纳还是升级给推理型评审。在十六个生成式与奖励模型评审对比中,凡结论可直接从文本读出的场景,JEV 与 GPT-6 差距在 3 分以内,费用仅为其 0.36%,中位延迟 0.15 秒;在数学、代码、逻辑等需推导的场景则落后。

  7. arXiv cs.AI36

    推理即模式匹配:人类与 LLM 日常推理的共享机制

    一项 arXiv 研究对比 46 个 LLM 与两组人类参与者的常识推理表现,发现两者在多种日常情境中呈现趋同的推理模式。通过分析内容不变与内容敏感的模型神经元,研究发现真正让模型与人类对齐的是内容敏感机制,而非内容不变的世界模型。这表明人类与 LLM 的日常因果推理都大量依赖模式匹配。

  8. arXiv cs.AI36

    LLM 为何在多轮对话中"断线":注意力关闭与残差表征的通道转移机制

    研究提出"通道转移"机制解释 LLM 多轮交互中的指令遗忘:目标定义 token 通过注意力变得难以访问,但目标信息可能仍保留在残差表征中。团队提出 Goal Accessibility Ratio(GAR)指标,结合滑动窗口消融与残差流探针,在 Mistral 上强制关闭注意力通道后,20 项事实回忆任务准确率从接近满分骤降至 11%,且角色约束违规率超过对抗压力基线。

  9. arXiv cs.AI22

    Reward on Path:为知识图谱问答学习中间监督信号

    针对知识图谱问答中答案标签监督噪声大、LLM 精炼监督成本高的问题,研究者提出 RoP 框架,用非对称目标从答案标签中学习轻量级、以问题为条件的路径奖励。该奖励经蒸馏与 GRPO 在线策略优化两阶段训练 LLM 关系路径生成器,在多个 KGQA 数据集上 F1 较答案标签方法提升至少 2.6%,且无需昂贵的 LLM 监督构建。

  10. arXiv cs.AI27

    WorldSonus:为世界模型带来实时空间音效

    WorldSonus 是一个面向世界模型的交互式视频转音频框架,可实时合成空间音效,实时因子(RTF)低至 0.41。它采用流式因果自回归扩散架构,并通过以音频为中心的描述生成管线与分块索引提示词调度,支持生成过程中动态操控声音事件。该框架利用立体声与 ambisonic 数据监督实现空间对齐,在开放域视频转音频基准上匹配或超越当前最优的双向模型。

  11. arXiv cs.AI31

    面向大语言模型的安全投机解码 SecureSD

    研究首次系统考察投机解码的安全影响,发现各类有损投机解码方法存在明显的安全-效用不对称:越狱与提示注入攻击成功率的上升速度远快于效用下降。为此提出 SecureSD,理论分析指出安全退化主要源于 draft model 生成的早期 token,故对早期解码位置的 draft token 采用更严格的验证标准。

  12. arXiv cs.AI22

    Selective-RL:选择性迁移 RL 更新提升视觉推理能力

    Selective-RL 通过隔离强化学习阶段的参数更新、保留其主导矩阵方向并迁移至 VLM 的语言模块,在三个模型家族、五个视觉推理基准的 15 项对比中有 12 项优于全量更新插值,Qwen 接收模型在 MathVision 上提升 8.55 个百分点。匹配对照实验表明,仅靠更新幅度或任意低秩无法复现这些增益。代码已开源。

  13. arXiv cs.AI41

    LLM 潜在空间偏见方向反映的是置信度而非公平性

    研究发现,通过对比抗偏见与偏见提示词激活值得到的线性去偏见方向,在激活空间中主要编码的是模型置信度,而非有意义的偏见表征。沿该方向进行激活引导虽能降低偏见指标,但实质是让模型在 QA 基准上拒绝作答、整体置信度下降,公平性提升只是副作用。这表明将偏见与置信度解耦的线性表征难以实现,基于引导的去偏见结果需谨慎解读。

  14. arXiv cs.AI22

    DeltaTTT:面向非线性循环记忆的逐层优化方法

    针对非线性记忆在序列单次遍历中比线性记忆更难优化、导致串行 TTT 反而不如固定基座并行 TTT 的问题,研究者提出 DeltaTTT,将两层记忆网络的联合内循环优化改为逐层学习,每层分配局部预测目标并通过状态相关的 delta 规则更新,在保留非线性读出的同时支持分块并行计算。在 DeltaNet 和 LaCT 骨干上的实验显示,其语言建模与检索性能均优于各自的循环基线。

  15. arXiv cs.AI30

    可解释性探针的 0.6 有多高?下限、上限与余量分析

    研究提出用"下限"(简单输入已能预测的部分)和"上限"(完整输入可预测的部分)两个参照点来解读探针分数,两者之间的"余量"才是模型真正额外计算的范围。在上下文元分析 Transformer 上,分布偏移下探针分数下降、预测误差上升 12–15 倍,但模型恢复的余量比例相近,说明是数据丢失信息而非表征失效。

  16. arXiv cs.AI14

    FlowCF:用流匹配为混合类型表格数据生成稀疏反事实解释

    FlowCF 是一种模型无关的生成式反事实解释方法,将反事实生成建模为从事实类到目标类的稀疏传输,并用流匹配求解,通过新型混合流算子扩展到混合特征类型,再用门控网络优化稀疏性。在六个基准数据集上,FlowCF 取得最佳数值稀疏性与接近度,仅改变 29% 的数值特征,而最佳基线改变 89%,位移小 70%。该工作已被 NeurIPS 2026 GDDL Workshop 接收。

  17. arXiv cs.AI22

    X-OPM:面向鲁棒性增强的可解释自动数字片上功耗建模

    X-OPM 提出一种可解释的自动数字片上功耗建模框架,用树模型捕捉特征交互、线性模型做预测,并引入人在回路工作流平衡精度与建模成本。在商用 C906 向量处理器上,采样窗口小于 8 cycles 时所有负载均达 R² > 0.93,而 APOLLO、COBIT 和标准 MLP 无法在所有测试用例上泛化。

  18. arXiv cs.AI22

    大语言模型何时不该回答:潜在欠定信号的跨域与多轮泛化研究

    研究构建了含 423 段对话、1,661 个标注轮次状态的多轮基准,用六份数据集和六个开源权重 LLM 测试"不可回答性"探针的迁移能力。探针在数学缺信息(AUROC 0.77-0.97)和篇章缺信息(SQuAD 2.0、MuSiQue,0.77-0.90)间稳健迁移,但单轮探针零样本无法检测对话何时变得可回答。

  19. arXiv cs.AI27

    GeoPID:分解与引导视觉语言模型中的视觉信息

    GeoPID 是一个免训练框架,从几何视角将视觉语言模型中的多模态信息分解为冗余、模态独有和协同三类成分。研究覆盖 22 个 VLM 和 14 个基准,发现正确答案在强视觉依赖问题上具有更强的视觉独有成分。基于此,GeoPID 在推理时选择性放大视觉独有子空间,无需更新模型参数即提升视觉定位能力,平均相对准确率提升 7.63%。

  20. arXiv cs.AI23

    Foresight-over-Graph:面向知识库问答的远见感知证据检索框架

    针对现有 LLM 引导的图推理方法因逐跳贪心剪枝而目光短浅、过早丢弃关键证据分支的问题,研究者提出 Foresight-over-Graph(FoG)框架,通过迭代构建问题相关证据子图并用远到近反馈引导路径探索。在 KBQA 基准上 FoG 达到 SOTA,CWQ 的 Hit 提升 16.58%,同时减少 LLM 调用与 token 消耗。代码已开源,论文被 NeurIPS 2026 接收。

  21. arXiv cs.AI24

    DySCo:面向边缘-云协同 LLM 推理的动态分片与深度同步批处理

    DySCo 是一个边缘-云协同 LLM 推理运行时,通过将 KV cache 保留在本地并引入 dyForward 层范围执行器,无需重新加载权重即可运行可配置的连续层范围。其深度同步批处理(DSB)将异构请求推进到最深切分点并批处理公共后缀,在平均并发为 8 时吞吐量较 FIFO 提升 275%、较精确匹配批处理提升 48%、较轮询交错提升 79%,同时降低每会话平均延迟。

  22. arXiv cs.AI30

    S1-MAS:用 System One 引导计算分工实现 token 高效多智能体协作

    研究者提出 S1-MAS 多智能体框架,将任务选择、角色分配、消息路由等有界协调决策交给轻量 System One 模型,把开放式推理留给强 LLM,从而解耦协调与推理。在七个基准上对比 AgentVerse、DyLAN 和 SelfOrg,S1-MAS 将 GPT-4o token 消耗降低 44.9%-97.2%,端到端延迟降低 37.8%-93.0%,同时准确率更优。

  23. arXiv cs.AI62

    论文:Lean 验证 AI 自动形式化无法保证自然语言证明正确

    arXiv 论文指出,AI 自动形式化把自然语言数学文本翻译成 Lean 后,即使形式化证明可被机械验证,也不能保证原始自然语言论证正确。作者证明,为做到语义忠实的翻译所需的歧义消解问题在可解性复杂度指数(SCI)层级中任意高(SCI = ∞),比包括停机问题(SCI = 1)在内的任何计算问题都更难。