稀疏自编码器在 NLP 机制可解释性中的关键综述：可恢复性、可解释性与实用性
一篇涵盖 138 项研究的综述系统梳理了稀疏自编码器（SAEs）在 NLP 机制可解释性中的表现，提出连接字典设计、特征操作与 NLP 功能的任务导向分类法。综述考察了稀疏度分配、几何结构、数据覆盖与推理对特征可恢复性的影响，并评估了语义可解释性、机制忠实性与行为实用性的证据。
#推理
arXiv cs.CLAI 评分2424 arXiv cs.AIAI 评分2020 反思型语言智能体的反事实遗憾：Lean 形式化验证的长期性能保证
研究者为反思型语言智能体推导出次线性反事实遗憾的充分条件，将局部生成与部署保证转化为完整智能体在资源约束下的长期性能保证，并保留原生控制器。该工作建立了资源敏感的迁移界，沿实际执行路径约束全状态部署差异，同时用局部生成可靠性给出累积生成机会界，显式刻画质量、覆盖与硬预算的权衡。全部 13 项编号理论结果的证明链已在 Lean 中形式化验证，包含一个策略反复增长且验证不完美的原生实例。
arXiv cs.CLAI 评分3131 为什么还要生成点击？面向 Web 智能体的插件式决策头
研究者提出插件式决策头，直接从冻结的视觉语言模型生成器隐藏状态中读取动作类型、目标元素和文本选项，无需生成 click(12) 这类文本。在 Qwen3-VL 4B 与 8B 上基于 213k 网页步骤训练后，置信级联在七个离线测试集上与生成器差距在 -0.3 至 +1.4 分之间，决策头承担 12% 至 64% 的步骤。
arXiv cs.AIAI 评分2626 相机优先 AI 智能体应如何工作？arXiv 论文提出双截止时间架构
一篇 arXiv 立场论文指出，相机优先 AI 智能体的核心障碍不是识别能力，而是时间——许多视觉目标转瞬即逝，等单体流水线完成推理时证据已消失。作者将此形式化为 Ephemeral-Target Interaction（ETI）与感知截止时间契约，区分硬性记忆截止时间与软性推理截止时间，并提出双截止时间架构：常开、有界、非语义的快路径，主动记忆机制，以及延迟审议层。
arXiv cs.CLAI 评分2929 LLM 该信任哪些知识？研究揭示跨知识冲突的通用引导方向
研究发现 LLM 在内部参数知识与外部上下文知识之间的选择是线性可表示的，可通过残差流中的单一方向进行控制。该方向能跨上下文格式、知识类别和数据集泛化，并可从简单事实冲突迁移到 RAG、记忆和规则遵循三类任务，在四个模型家族中一致提升模型对提示所提供信息的利用。
arXiv cs.AIAI 评分2626 GateSight：用循环记忆预判注意力记忆，实现混合 LLM 的查询无关 KV 淘汰
GateSight 利用 GDN 层在 prefill 阶段发出的写门、衰减和写入幅度信号，通过轻量级 per-head MLP 预测 KV 条目的未来效用，从而在未见查询前决定各注意力层保留哪些条目。
arXiv cs.CLAI 评分2323 什么是澄清？估计依赖模型的输入歧义
研究者区分了"世界歧义"与"模型歧义"：前者指输入本身允许的所有解释，后者指特定语言模型实际可理解并回答的解释。他们通过唯一性、忠实性和答案等价性三项准则，建立了有效答案与澄清等价类之间的一一对应关系，并提出黑盒方法 CircleClar，沿"答案—澄清—答案"循环检验一致性来估计模型可用的答案集合。
arXiv cs.AIAI 评分2222 模块化金融强化学习信用分配的等信息评估框架
研究提出一种结合等信息重构控制、固定效用比较和预设下游护栏的评估框架，用于检验模块化金融强化学习中的信用分配。三项对照实验发现：基于残差的分配在披露接口下被普通损失预算控制精确复现；直接缺口监督提升了组件预测却未能保持解码结果；组件级 critic 监督在固定效用下恶化了风险条件确定性等价与回撤。
arXiv cs.AIAI 评分3232 SAGE：将 2-bit 向量量化 LLM 推向真实可用
SAGE 是一种面向权重-only 向量量化的新方法，通过能量分层分组（ESG）与自适应比特拆分（ABS）两项设计，在 2-bit 量化下取得 SOTA 表现。
arXiv cs.AIAI 评分2626 TASA：用工具增强策略智能体实现可追踪的组合优化
针对 OPRO 优化过程难以追踪、无法利用历史迭代信息的问题，研究者提出工具增强策略智能体 TASA，基于优化轨迹为每一步规划策略，将优化过程分解为可追踪的策略选择。TASA 还利用 LLM 构建问题专用工具，并引入策略引导的自适应工具规划器，用轨迹信息更新解。在共享候选评估预算下，结果支持其解质量与策略引导搜索的可追踪性。
arXiv cs.CLAI 评分2727 GURI：用 Token 身份信息做 LLM 灰盒幻觉检测
研究者提出灰盒幻觉检测器 GURI，将候选 token 概率与逐 token 向量标识结合，让检测器不仅知道模型有多不确定，还能知道它在哪些候选词之间犹豫。在三个开源权重模型和三个问答基准上，GURI 把平均测试 ROC-AUC 从 72.09% 提升到 79.09%；在闭源 GPT-4.1 上从 67.39% 提升到 71.84%。
arXiv cs.AIAI 评分2323 MHWA：多时间尺度分层世界-动作模型
MHWA（Multi-timescale Hierarchical World-Action model）通过跨步高层上下文通道降低全局上下文更新频率，并借助上下文感知路由让门控网络动态重构底层 MoE，抑制自回归世界模型开环推演中的漂移累积。
arXiv cs.AIAI 评分2222 SEGA：用关系语义锚定实现测试时发现
研究者提出 SEGA 框架，利用大语言模型为已知类生成属性丰富的描述，并在训练中构建属性锚定的视觉-语义空间。测试时通过 Relational Semantic Grounding（RSG）用相似与不相似的已知类锚点定位未知样本，让 LLM 生成候选概念并在语义空间中重排序，再以置信度引导做测试时语义稳定化。该方法将匿名测试时聚类转化为可解释的语义概念，在 TTD 基线上取得提升。
arXiv cs.CLAI 评分2424 能推理却停不下来：剪枝大型推理模型的失效机理与恢复方法
研究发现剪枝大型推理模型（LRM）的精度下降主要源于"停不下来"而非推理能力受损：稀疏度升高后，模型常在正确答案已出现后仍陷入重复循环，无法在 token 预算内终止。基于终止与循环续写之间一致的隐状态差异，作者提出免训练方法 TGAS，在推理时将该方向注入残差流。在 6 个 LRM、3 种剪枝流程及数学与代码基准上，TGAS 改善了终止与整体准确率，并减少重复推理和生成长度。
arXiv cs.CLAI 评分2929 MemDuet：为长上下文推理学习双过程记忆
MemDuet 是一个双过程记忆框架，用小型语言模型做快速并行证据筛选（System 1），用大语言模型按文档顺序做记忆更新验证与重写（System 2），分三阶段训练。在 RULER-HQA、LongBench v2 和 2WikiMultiHopQA 上，其端到端推理速度较 RL-MemAgent 平均提升 9.74 倍，输出 token 减少 73.91%。
arXiv cs.CLAI 评分3030 超越基准准确率：面向 LLM 化学预测的诊断性测试
研究者提出 Identity-Blinded Reasoning Diagnostic 框架，在隐藏目标实体身份信息、仅以已知源实体加显式结构编辑操作定义目标的条件下评测化学预测模型。
arXiv cs.AIAI 评分2929 PEARL：面向多轮智能体的过程经验感知强化学习
PEARL 是一种无需额外 critic 的过程经验感知强化学习（Process-Experience Aware Reinforcement Learning）方法，通过定位同一历史下两条不同结果轨迹的首个分歧点，构建各分支局部决策的特征表示，并在近期失败与成功记忆中聚类以识别反复出现的局部决策模式。
arXiv cs.CLAI 评分2424 LCMV：用长度条件化多数投票提升 LLM 推理准确率
研究者提出 Length-Conditioned Majority Voting（LCMV），一种 Test-Time Training 方法，利用"更长的 CoT 往往正确率更低"这一经验观察，将长度条件先验建模为 logistic 函数，并在测试时仅用无标注数据自适应调整该先验，对每个采样答案的投票加权。
arXiv cs.CLAI 评分2929 RCCM：诊断推理提示词迁移中的收益与损害
RCCM（Reasoning-Control Capability Mismatch）通过将同一问题的答案与生成结束记录配对，诊断推理提示词迁移中的收益与损害。
arXiv cs.CLAI 评分2020 面向分布式连续隐式推理的流匹配原理分布蒸馏
研究者提出原理分布蒸馏（RDD），通过流匹配从多条文本推理路径中蒸馏，训练一个在定长隐序列上的条件流，并用 within-query mixup 在完整隐式推理之间插值以扩展蒸馏目标。该流非自回归地生成整段隐序列，再由冻结的语言模型自回归解码答案。实验显示，这一分布式推理器在答案覆盖率上优于所评估的点值隐式推理基线，在高等数学任务上尤为明显。
arXiv cs.AIAI 评分2626 CB-Agent：基于概念的上下文学习用于序列动作选择
CB-Agent 将基于概念的上下文学习扩展到序列动作选择，从专家轨迹中提取环境-动作决策，通过最大似然拟合概念向量，结合冻结语言模型特征与先验建模候选动作的条件分布，使 ReAct 智能体无需在动作评分上下文中放入演示即可选择动作。
arXiv cs.AIAI 评分3232 执行后学习：用动作特定信用分配提升策略能力
研究提出"执行后学习"方法，将程序执行结果作为中间状态，为同一策略触发额外的学习交互，并用动作特定信用分别给初始动作和纠正动作分配信用。在 Image-to-TikZ 的 945 个留出样本上，单次调用渲染成功率达 92.70%，高于继续单阶段 GRPO 训练相同迭代次数后的 88.25%。该纠正能力依赖中间状态，无法通过继续单阶段训练复现，代码已开源。
arXiv cs.CLAI 评分3838 JetSpec++：前瞻并行草稿与自修正的推测解码方法
UC San Diego 等团队提出推测解码方法 JetSpec++，通过块内自修正、块间前瞻草稿与流水线草稿验证三项设计，将草稿模型的边际耗时几乎降为零。相比自回归解码，其墙钟加速最高达 7.45 倍，比 DSpark 快 1.54 倍，在 GB200 上单请求最高 1,361 tokens/s，七个基准平均接受长度 8.94，且保持目标模型输出分布。代码与模型已开源。
arXiv cs.CLAI 评分3030 Qwen-MT-Lumen 亮相 WMT2026：通过质量感知训练与同策略蒸馏实现指令专用翻译
阿里提交 WMT 2026 通用机器翻译共享任务的 Qwen-MT-Lumen，采用四阶段流水线：继续预训练与监督微调、将离线 M²PO 扩展为在线偏好优化、由更大教师模型向 Qwen3-14B 学生做同策略蒸馏，并以结构感知推理与选择性修复保证格式。
arXiv cs.CLAI 评分2222 ReSemReason：面向生物医学多跳问答的关系语义推理框架
针对生物医学知识图谱多跳问答中"答案可达但证据无效"的问题，研究者提出 ReSemReason 框架，通过在候选发现与证据选择间共享问题诱导的类型化有向关系模式分布，并用 ReSemAttn 的关系条件键值投影与不确定性加权路径先验来筛选候选证据。在 BioHopR、PrimeKGQA 和 MedReason 上的实验显示，该方法在答案排序和答案集质量上均有提升。
arXiv cs.CLAI 评分2323 文言文能否作为中文 LLM 的高效推理语体？Wenyan Thinking 微调 Qwen3-4B-Thinking-2507
研究者提出 Wenyan Thinking，将中文推理模型的中间推理改写为文言文、仅保留简短直接答案，并在改写后的监督数据上微调 Qwen3-4B-Thinking-2507。在 MMLU-ProX-Lite-ZH、CEVAL 和 AGIEval-CN 的预算受限评测中，该方法显著缩短推理长度并降低缺答率；在主要基准上持续优于同等数据与配方训练的紧凑现代汉语对照组。
arXiv cs.AIAI 评分3030 SAT-RL：用符号求解器训练语言模型进行逻辑推理
SAT-RL 是一个强化学习框架，通过多轮工具执行训练 LLM 与 Z3 等符号求解器交互，结合可验证合成数据、求解器增强轨迹的监督预热和工具感知奖励的求解器接地 RL。实验显示，SAT-RL 在域内和域外逻辑任务上均大幅提升了带工具符号推理能力，代码已开源。
arXiv cs.AIAI 评分4040 开放权重 LLM 的推理能效如何随基准、推理模式与硬件变化
研究直接测量了 86 个开放权重模型检查点在 7 个基准和 6 种硬件平台上的推理能耗，发现能力相近的模型能效差异巨大，多数配置比同等得分的最优配置多耗 2.6–4.8 倍能量，差距最高达 27 倍。开启思考模式平均增加约 3.7 倍能耗，且收益高度依赖模型家族与输出预算；FP8 可降低约四分之一能耗而得分几乎不变。生成 token 数并非能耗的可靠代理，会误判 18–24% 的模型配对。
arXiv cs.CLAI 评分2424 为何 Mamba 的检索会失效：超越状态容量假说
针对 Mamba 在上下文检索上落后 Transformer 的问题，研究聚焦查询先于上下文的 query-first 检索场景，发现此时状态容量并非瓶颈，Mamba 仍显著落后。
arXiv cs.CLAI 评分2626 RouteWeaver：将模式选择与执行编织进统一 LLM 路由
RouteWeaver 是一个统一 LLM 路由框架，用单一策略整合单轮、多轮与智能体等路由模式，联合学习模式选择与模式内模型选择。其配套的 COMET-GRPO 将轨迹级优势拆分为模式选择与模式内执行两个信号，并引入渐进式探索，让路由器先学会执行各模式再决定何时使用。
arXiv cs.CLAI 评分2222 BANGLAPLAN：孟加拉语约束规划与决策基准
研究者发布 BANGLAPLAN，一个覆盖十类任务、共 1,000 道题的孟加拉语约束规划与决策基准，含可行与不可行问题及四种语言语域。评测 11 个开源与闭源模型配置显示差距悬殊：GPT-6.1 Sol 准确率 98.7%，Qwen3.5-27B 开启 thinking 达 80.3%，而直接作答配置最高仅 30.9%，11 个配置中有 7 个低于“全部不可行”基线。
arXiv cs.AIAI 评分3131 ACED-Bench：评估 LLM 智能体如何获取并依据因果证据行动
研究者推出 ACED-Bench，一个神经符号基准，用于评估 LLM 智能体能否主动设计实验、解读有限证据并做出因果决策。其主榜单 ACED-CORE 含 180 项任务（60 项因果祖先/后代集合问题、120 项受限因果决策任务），另有 150 题的 ACED-QUAL 资格检查。
arXiv cs.AIAI 评分2222 ConicFlow：面向流匹配模型的约束推理时最优控制
ConicFlow 将流匹配模型的约束采样在推理时建模为最优控制问题，在硬性终端约束下平衡对预训练轨迹的偏离与奖励，并采用滚动时域控制与滚动时域原对偶算法求解，对偶乘子随采样过程不断修正以引导生成可行样本。
arXiv cs.CLAI 评分2626 面向类型化决策模型的选择性推理：何时开始、读取与停止
研究团队在冻结的 Qwen3.5-4B 主干上训练共享候选答案读取器，将直接决策与按需、可中断推理统一起来，通过收益门控启动推理、自然状态触发显式读取、熵规则接受答案并取消生成。
arXiv cs.AIAI 评分3939 Echo：面向 LLM 训练与推理的误差补偿 4-Bit 张量并行通信
Echo 是一种用于 LLM 训练与推理的 4-bit all-reduce 方法，通过高精度求和并将每次量化注入的误差反馈到后续调用中，使累积误差与模型深度无关。
arXiv cs.AIAI 评分4242 Harness^2：面向开放世界的递归式智能体执行框架
Harness^2 是一个即插即用的递归式智能体执行框架，通过任务级与执行级两层递归，在无真值验证器的情况下用对比式 Propose-Probe-Compose 步骤引导执行框架编辑。
arXiv cs.CLAI 评分3131 INTACT：在冻结骨干模型上诱导潜在推理
INTACT 用小型外部编码器为冻结骨干模型诱导潜在推理，将隐藏状态迭代映射为潜在推理前缀，再由冻结模型输出文本推理与答案。在 1B 至 8B 的四个冻结骨干上，GSM8K 准确率从 75.8% 提升至 79.3%（Llama-3.2-3B）、从 77.6% 提升至 79.7%（Qwen2.5-3B），Llama-3.2-3B 端到端延迟降低 19%。
arXiv cs.AIAI 评分3232 PPO 智能体的价值函数中是否存在世界模型？可视化研究揭示 Crafter 环境中的概念学习
研究者对 PPO 智能体在 Crafter 环境中的价值函数施加反事实干预，发现尽管仅以优化奖励为目标训练，价值函数仍学到了钻石可收集规则、水与食物影响健康等概念。团队可视化这些世界模型并讨论了其安全启示，同时指出当前强化学习智能体阻碍构建真正先进机器智能的若干缺陷。
arXiv cs.CLAI 评分2727 REWIND：面向测试时推理的不确定性引导轨迹修复
针对推理早期错误会约束后续生成的问题，研究者提出免训练控制器 REWIND，利用 token 熵动态定位并重新生成推理后缀。在 MATH500 上，Qwen2.5-Math-7B 的错误回答平均 token 熵比正确回答高约 112%。在三个模型家族和五个基准上，REWIND 超越所有基线，较最强基线提升 0.51-10.00 个百分点，代码已开源。
arXiv cs.CLAI 评分2323 SRAT：面向选择性检索增强机器翻译的智能体强化学习框架
研究者提出 Selective Retrieval-Augmented Translation（SRAT），一个智能体强化学习框架，让 LLM 自行学习何时直接翻译、何时检索、检索什么以及如何整合，以优化最终翻译质量。该方法还引入联合 Plackett-Luce 优化与翻译质量对比训练来对齐检索器。在习语、知识密集型和文档级翻译任务上，SRAT 持续优于从不检索和始终检索的基线。