跳到正文
10月15日周四
  1. arXiv cs.AI20

    SHAP 作为 SAE 特征归因方法的因果忠实性评估

    研究将 SHAP 归因应用于 SAE 潜在特征,并以 GPT-2 Small 在 SST-2 情感分类上的直接因果干预为基准进行检验。多数忠实性关联未通过多重比较校正,且相互高度一致的归因方法(ρ=0.42–0.80)与实测因果效应吻合度差。在已知真值的最小对中,归因能较好识别插入的情感信号(AUROC 0.792),却难以定位删除(AUROC 0.520)。

  2. arXiv cs.AI32

    RLVR 验证器噪声与鲁棒性综述:58 项研究揭示错误结构比错误率更关键

    一篇综述梳理了 58 项测量、分析或缓解 RLVR 验证器错误的研究,发现错误的结构比错误率更重要:随机错误主要拖慢学习,而在固定预算或 KL 正则下也会降低最终准确率;策略能学会触发的假阳性则可能导致训练停滞甚至崩溃,即便初始错误率很低。验证器是错误拒绝还是错误接受,取决于它检查什么、由谁构建,而非其所属家族,且其错误会随策略改进而漂移,多数缓解方法仅针对单一错误类型测试过。

  3. arXiv cs.AI27

    RPO:通过根 token 策略优化让大推理模型自适应思考

    研究提出 RPO(Root-token Policy Optimization),通过组相对奖励和组内优势仅训练初始根 token(如是否调用思考标签),让大推理模型自行决定何时推理。该方法在多个模型族和规模上实现难度感知的自适应思考,训练算力仅为先前自适应推理方法的约 2%,并大幅降低显存占用。该工作已被 ACL 2026 接收为 Oral。

  4. arXiv cs.AI26

    审计失败归因:标签可预测性与评判模型行为

    针对失败归因基准中 LLM 评判模型可能依赖表面线索而非跨步骤核查的问题,研究者提出输入限制、线索跟随、残差准确率和聚合四项测试。在三个基准上,简单预测器即可匹敌或超越 GPT-4.1;在 Who&When Pro 系统中,仅读取单步推理的分类器能找出 95-100% 的故障步骤,而注入错误后微调评判模型虽领先 GPT-4.1 达 41 分,但加入任务推理后骤降 31-99 分。

  5. arXiv cs.AI24

    用 Fenchel-Bregman 后验学习提升多样本推理:FBI 方法

    研究者提出有限 K 后验学习,训练求解器参数分布以降低 K 个独立候选全部失败的概率,并给出 Fenchel-Bregman(FB)方法,每次更新只需一次后验采样,而非直接蒙特卡洛所需的 K 次。FB 结合高斯后验变分优化器 IVON 得到 FBI,在多种递归与自回归推理任务上提升候选覆盖率,并以直接蒙特卡洛基线 12.3% 的实测单次更新训练时间达到相当的 Pass@10。

  6. arXiv cs.AI27

    LEAF:用上下文记忆与自蒸馏提升 LLM 推理的探索效率

    LEAF 通过在每次 rollout 前向上下文注入动态的问题专属记忆(含最近一次回答、奖励及环境反馈),并在每次验证后更新,从而将策略更新与 rollout 解耦、以自蒸馏方式更新策略。在四个 benchmark 和两个开源模型上,其探索速度约为随机采样基线的 4 倍,在未见测试集上准确率较最强基线分别提升 1.59 和 1.83 个百分点,且算力消耗低于所有 RL 基线。

  7. arXiv cs.AI32

    LLM 智能体的推理收缩与安全记忆复用边界

    研究提出"推理收缩"概念,指出思维模板、技能库、智能体记忆与缓存把多步推理压缩为一步,但事实变化后记忆会悄然给出错误答案。在五个 LLM 的多跳问答测试中,ExpeL 与 ACE 式计数器比经认证记忆多输出 7.0-13.5 倍过期答案,代码任务上多出 35-73 倍。作者提出按各记忆自身似然比加权失败、对照实时推理认证效用、事实变化时重启证书的方案。

  8. arXiv cs.AI26

    语言模型智能体的信念-行动鸿沟

    研究在文本网格世界中考察语言模型智能体的状态信念、行动价值与行动偏好如何相互作用,发现任务相关的状态与价值信息在表征层面往往比在行为中更可靠。推理过程中决策会在某个承诺点附近收敛,报告的不确定性也随之下降,但个体信念变化并不能一致解释行动偏好的转变。移植其他决策的推理前缀可影响强制行动,而推理窗口激活编辑对行动的控制有限,表明部分失败源于信息向行动的转化而非信息缺失。

  9. arXiv cs.AI37

    World-T3:用测试时训练作为实时视频世界模型的持久记忆

    World-T3 是一个相机控制的视频世界模型,通过测试时训练把过往观测固化进模型参数作为持久记忆,并提出递归最小二乘规则以在线姿态键控方式增量更新记忆。在长时程重访基准上,其重访 PSNR 从 13.52 提升至 18.31 dB,绝对旋转误差从 3.344 降至 1.075,并在单张 NVIDIA B200 GPU 上以 1280 x 704 分辨率维持 20.6 FPS。

  10. arXiv cs.AI26

    部分可验证环境下的强化学习用于结肠癌治疗规划

    研究将肿瘤治疗规划建模为部分可观测下的交互式强化学习问题,用真实临床记录构建患者特异性、过程感知的奖励,智能体需先顺序采集信息再给出首选治疗方案。使用 GRPO 和 GDPO 优化 Llama-3.1-8B-Instruct,GDPO 训练的策略将 Mean@3 临床标量奖励较基座 Llama 提升 79.60%,在同一交互环境中超过 GPT-5.2 达 18.82%,同时减少训练中的查询次数。

  11. arXiv cs.AI22

    ReConV:用表示重建实现视觉 token 压缩

    研究者提出视觉 token 压缩框架 ReConV,用紧凑的 Summary Bank(SMB)汇总完整视觉序列,并依据重建残差保留 SMB 未能充分捕捉的 token,每个压缩层由轻量位置条件解码器重建当前 token。在 ImageNet 上,ReConV 以少 48% GMACs 超过未压缩基线,并支持可复用的图像级表示以加速多轮推理。代码已发布于 TokenDrop。

  12. arXiv cs.AI22

    基于现代 Hopfield 模型重新审视 Transformer 注意力的统计力学

    研究者通过现代 Hopfield 模型重新审视 Transformer 注意力的统计力学,提出自由能形式化框架来刻画稳健注意力推理的参数区间与临界阈值。该框架将注意力视为统计力学系统的运动方程,并识别出注意力在玻璃态与稳健推理相之间的第一相变,进一步扩展到具有随机 query 和 key 的注意力机制。

  13. arXiv cs.AI28

    FreeSolo:线性时间稀疏注意力实现零样本长度外推

    FreeSolo 是一种原生稀疏注意力机制,通过短程滑动窗口分支与长程分支直接对关键点单元做 token 注意力,其线性时间变体 FS-L 经短 CPT 学习在查询相关选择前剪枝前缀,FS-B 以 O(N log² N) 算法成本搜索平衡树。无需长上下文微调,FreeSolo 的零样本长度外推表现优于基线。

  14. arXiv cs.AI31

    D-World:显式世界-语言-动作模型,双控制下递归自我改进

    D-World 是一个基于 Sense、Plan、Act 分解的显式世界-语言-动作模型,用可执行数字孪生替代隐式世界模型,让机器人策略可被直接检查与修正。其递归自我改进(RSI)机制在 LLM 冻结的前提下,通过测量驱动的参数修订持续改进孪生环境,仅当重放最新动作块不使任何测量残差超出容差时才接受修订。

  15. arXiv cs.AI24

    MeanFlow2Better:面向离线强化学习的一步潜空间流策略

    针对扩散与流匹配策略需从高斯噪声出发、多步迭代生成动作的问题,研究者提出 MeanFlow2Better(MF2B),将离线强化学习重构为高层潜决策空间中的生成式决策块优化,通过共享条件平均速度场构建两条流映射,均以 Δt=1 的一步 ODE 积分完成决策精炼,无需多步采样或时间反向传播。

  16. arXiv cs.AI49

    浮点偏置加法中的 Logit 泄漏

    研究揭示语言模型 API 在浮点偏置加法中存在数值侧信道,仅凭 token 身份即可区分具有相同完整未扰动对数概率的分数向量。该方法利用二进制指数边界处可表示间距的变化,在 binary32 算术假设下最多用 52 次 token 查询即可精确恢复一对 logit 及其未知的平局优先顺序。

  17. arXiv cs.AI23

    注意力汇形成前的隐藏状态几何:arXiv 研究揭示并调控其形成过程

    一项 arXiv 研究在注意力汇形成前约两到三层处发现隐藏状态的短程谱重组信号,该信号在 Qwen2.5、GLM-Z1 和 GPT-OSS 中均可预测后续汇的形成。研究者仅修改当前注意力计算后隐藏状态的奇异值,即可相对范数匹配的随机谱扰动改变后续汇行为;在 Qwen2.5 中,抑制效应伴随下一层对位置 0 的 query-key 偏好下降。

  18. arXiv cs.AI24

    AlignCache:面向视频扩散模型加速的校准与纠错缓存框架

    AlignCache 是一个闭环缓存框架,通过阶段自适应预算路由、闭环阈值校准和动量增强草稿合成三个组件,将视频扩散模型的缓存调度从静态风险累积转变为反馈驱动的自校正控制器。该方法针对现有自适应缓存依赖启发式差异度量、单一全局阈值且从不校验预算估计的问题,在多个 SOTA 视频生成模型上取得更优的加速-质量权衡,代码已开源。

  19. arXiv cs.AI22

    CryptoFlowBench:面向加密货币资金追踪的多跳推理基准

    研究者提出 CryptoFlowBench,一个基于权威加密货币非法事件报告构建的基准,包含从局部到多跳资金追踪的四项任务,现有学习和启发式方法在这些任务上均面临显著挑战。同时提出图工具增强的智能体 ChainSleuth,通过迭代推理、调用图工具并更新追踪轨迹,实现自适应信息获取与错误路径恢复。实验显示没有基线能在四项任务上全面占优,ChainSleuth 在多跳任务上取得明显提升。

  20. arXiv cs.AI27

    LoopQuant:面向循环 Transformer 的精准高效训练后量化框架

    LoopQuant 是面向循环语言模型(LoopLM)的循环感知训练后量化(PTQ)框架,通过 CLDC、ILPA、LCTC 三个组件解决跨循环激活动态与递归误差传播问题。在 Ouro-2.6B 上,其 W4A4 精度超过所有 W4A8 基线,模型内存减少 65.3%,相比朴素 INT4 仅增加 3.4% 存储开销,解码速度较 BF16 提升 1.7 倍。代码已开源。

  21. arXiv cs.AI22

    强化学习中的流匹配综述

    一篇发表于 TMLR 2026 的 52 页综述系统梳理了强化学习中的流匹配(Flow Matching)方法。该综述沿两个维度组织文献:所建模的目标分布(动作策略、价值评论家、转移动态)与 RL 信号的整合机制(能量加权回归、基于流的策略梯度、组相对策略优化),并对比了高斯与扩散基线,覆盖离散及非欧几里得动作空间等前沿方向。