稀疏事件-KV 的记忆契约:全局计算,本地物化
研究提出"语义物化"现象:在长程智能体的 KV cache 中,下游事件的缓存行可作为独立可服务的计算视图,即使产生它的输入已被丢弃。在 Qwen3-8B 上,刻意构造的不含答案的事件可将 donor-aligned 恢复率从 6% 提升至 51%,而被动采集长期对话中的自然提及未检测到优势。紧凑状态可存活,较大载荷衰减至随机水平,且是否写入取决于措辞而非语义。
研究提出"语义物化"现象:在长程智能体的 KV cache 中,下游事件的缓存行可作为独立可服务的计算视图,即使产生它的输入已被丢弃。在 Qwen3-8B 上,刻意构造的不含答案的事件可将 donor-aligned 恢复率从 6% 提升至 51%,而被动采集长期对话中的自然提及未检测到优势。紧凑状态可存活,较大载荷衰减至随机水平,且是否写入取决于措辞而非语义。
针对异步强化学习中陈旧 off-policy 数据导致训练不稳定甚至策略崩溃的问题,研究者提出熵归一化信任域(ENTR),指出比率尺度由 token 熵决定,并识别出会放大训练-推理失配的低熵区间。在长程智能体任务与数学推理基准上,ENTR 在 BrowseComp-Plus 上 avg@1 较最强基线提升 6.9%,可稳定训练至 30 个策略版本的陈旧度,并以 2.6 倍加速匹配同步 GRPO。
研究者提出 VLA Grounder,一种语言条件空间策略,将人类指令转换为简短的 VLA 可执行命令,利用物体外观、空间关系和目标定位线索,通过稀疏任务完成奖励的强化学习优化,下游 VLA 保持完全冻结。在 RL4VLA 和 VL-Think 上的实验表明,语言条件空间优化提升了指令敏感、符号化及多物体操作任务的成功率,说明语言可作为机器人基础模型的可优化变量。
研究用 LLM 遗忘方法抑制模型对目标算法的直接回忆,考察其能否凭剩余知识重新推导出算法。结果显示 LLM 无法恢复近一半的目标算法,仅在解码时抑制算法名称提及就会让恢复率骤降至 19–39%,表明模型过度依赖记忆。可恢复的算法多为结构或核心思想较简单的,作者还引入生成式验证器以维持推理强度、避免“思维崩溃”。
论文提出 Soft Tournament Equilibrium(STE),一个从互反成对概率中推断 Top-Cycle(TC)与 Uncovered-Set(UC)的可微层,通过归一化 log-sum-exp 可达性与覆盖给出平滑分数,并附带近似、扰动与 margin 恢复界。
研究提出 Agentic Critical Training(ACT),用带可验证奖励的强化学习(RLVR)训练语言模型智能体直接判断动作:在每个专家轨迹状态上,将专家动作与从初始策略采样的替代动作配对并随机排序,模型自行生成推理但仅在选中专家动作时获得奖励。
研究者构建了基于 nuPlan 的大规模驾驶 VQA 数据集 DriveMind,用其训练 VLM 驾驶智能体后发现推理与规划存在因果脱节:移除 ego/导航先验会导致规划分数大幅下降,而移除 CoT 仅带来微小变化。注意力分析显示规划主要依赖先验而非 CoT,据此提出推理-规划解耦假说,并给出一种免训练探针,通过输入扰动下的规划鲁棒性衡量智能体对先验的依赖。
Thought-Like-Pro 是一个通过模仿学习提升大语言模型推理能力的学习框架,它让模型从指令中自行生成规则与语句,交由符号化 Prolog 逻辑引擎推导,再将 Prolog 生成的连续推理轨迹翻译为自然语言思维链用于模仿学习。
一篇发表于 Bulletin of the AMS 的论文从信息论视角探讨如何构建 AI 数学家,认为当前深度学习擅长系统 1 能力(直觉与习惯行为),但在系统 2 能力(推理与稳健的不确定性估计)上仍有欠缺。其核心假设是:理想定理集合应能以较短描述长度概括所有可证命题,同时与大量可证命题的推导步数距离较近。研究重点不在证明给定定理,而在发现新的有趣猜想。
LeWAM 是一个双向 Transformer 世界动作模型,在无解码器的 JEPA 潜空间上端到端训练,可同时完成前向、后向、逆动力学与策略预测。其潜空间在线性探针下读取机器人与物体状态优于 LeWM,且与同规模 flow-matching 策略的闭环表现相当。规划时在策略头的噪声空间采样,比直接采样原始动作更能提升闭环性能。
研究者提出 ARC 推理配方,无需额外机器人演示或基础规模训练即可提升现有机器人基础模型的零样本任务表现。ARC 由推理轨迹、可扩展自动标注流程和适配预训练 RFM 的控制策略三部分组成,可从 DROID 自动构建 ARC-Trace-DROID,并让 π₀.₅ 等 VLA 与 Cosmos3-Nano-Policy 等 WAM 学会用轨迹控制。
研究者提出 GPD(Geometry-Privileged Distillation),将深度、语义与鸟瞰图(BEV)线索渲染为紧凑文本,按问题路由给教师模型,仅对错误轨迹施加特权 KL 以增强 GRPO,部署模型仍只用 RGB 输入。
研究提出动态向量解码方法 DVD,将 2D 边界框、2D 掩码和 3D 边界框统一转为 1D 向量序列并映射为高维空间中的紧凑离散 token,再通过轻量 de-tokenizer 解码回原始感知表示,实现与 MLLM 的无缝集成。
一项统一基准对比了经典规划器与学习方法在动态危险场中的实时运动规划表现。在确定性环境下经典规划器成功率接近完美且路径质量更高,但规划耗时较大;在随机障碍动态下,基于 PPO 的策略在延迟、成功率和路径质量上持续占优。结果表明,障碍演化的不确定性比部分可观测性更能决定哪种规划范式更有效。
研究者提出空间语言建模(Spatial Language Modeling),用离散坐标与语义 token 的共享词表表示场景轮廓、目标、动作目标和未来状态,让单个自回归 Transformer 通过统一的下一 token 预测目标同时学习动作生成与动作条件下的状态预测。
研究者提出 GeZo-SAC,让每个 critic 在标量价值之外预测一组定义 zonotope 的生成元,通过沿采样方向探测得到几何宽度作为悲观偏移,并用 log-sum-exp 聚合两个 critic 的分歧来动态控制其组合方式。
MAST 是一个模体增强扩散框架,结合搜索树实现 2D-3D 联合波谱分子结构解析,在去噪过程中引入可解释的模体先验作为中间证据,并将扩散采样转化为奖励引导的树搜索。在 QM9S 多谱基准上,MAST 实现 94.89% 的精确恢复率,同时提升 3D 保真度并保持高化学有效性与稳定性。代码已开源。
研究者提出多视角图解释器 MPGE,为冻结的 GNN 分类器统一提供事实支持、反事实敏感性与样例容忍三类解释。在 MUTAG、Mutagenicity、AIDS、COX2_MD 和 BBBP 上,成功的事实掩码平均保留 8.6%–15.5% 的输入边,反事实覆盖率为 4.8%–67.6%,样例保留覆盖率 98.9%–100.0%。
一项研究首次系统探索 LLM 的社会归因能力,构建了包含 Vignette 与 Reality 两个子集、共 7,639 道责任/责备判断问题的基准,并评测了 32 个代表性 LLM 和 5 个非 LLM 基线。
REACT 是一个滚动去噪框架,让基于 flow 的 VLA 模型在保留长时程上下文的同时提升反应速度:它维护带错开 flow 时间步的持久动作缓冲区,每步用最新观测对完整时域去噪、执行最干净的动作块、将部分精炼的未来块前移并补充新噪声。
研究者提出 Polytopal Neural Networks(PNNs),通过强制多胞体结构在信息处理中直接提取逐层的不同方面,并借助学习到的语料表示与摊销单纯形推理实现规模化。实验显示,多胞体约束在潜空间中保留了有意义的结构,性能下降极小,在无监督学习中比 VQ 表示获得更优的压缩表示,同时为 VQ 深度学习训练提供了新方法。
Agentic-TTT 将 TTT 流程转化为可调用工具,把累积技能视为不断演化的部署环境,并依据决策带来的效用增益训练测试时策略,决定何时启用 TTT、调用哪种算法以及能否复用已有技能。在其自建 benchmark 上,该策略相比骨干模型效用接近翻倍,还能在效用与算力之间做权衡,并泛化到训练中未见过的领域。
研究者提出首个针对 DeepJSCC 解码器的有界传播验证框架,可在给定无线信道噪声区域内界定最坏情况重建误差。该框架扩展了 PReLU、转置卷积与 Rayleigh 衰落的验证技术,并结合 GloRo 全局鲁棒性训练,在图像传输模型上将中位认证界降低最多 41%,认证安全案例数从 19 增至 192。OFDM 软件无线电实测中,认证界为 0.128,链路最差观测误差为 0.082。
研究者提出随机分组共形预测(SGCP),一种面向子群可靠性的不确定性量化框架,通过学习随机分组映射让每个样本从校准行为相似的样本中获取校准信息,形成局部分数分布。SGCP 被证明保留标准覆盖率保证,在合成与真实基准上持续缩小各子群覆盖率差距,同时预测集大小较现有基线更小或相当。
研究者将神经解码重构为受大脑内在先验约束的认知推理,提出生成高层"元神经语义表征"的方法,在五种神经记录模态和运动、感知、内部思维三个认知域的解码实验中,该方法重组了神经观测表征的几何结构,使元神经语义表征在不同认知任务间呈现一致的几何关系,并能从变化的神经活动中恢复稳定的认知状态。
研究者提出 AIMS(Adaptive Information Multi-source Steering),一个无需训练的轻量框架,通过在解码时自适应协调视觉、预填充文本与生成文本三种上下文来源来缓解 LVLM 幻觉。
针对 GRPO 等强化学习方法中策略熵坍缩、采样多样性下降的问题,研究者提出 GRPODropout:在标准更新前选择性剔除少量高概率正优势 rollout,并对保留的优势重新中心化。该方法仅改变 rollout 使用方式,计算开销可忽略,实验准确率高于原始 GRPO,且更新所用 rollout 样本更少、actor 熵更高。代码已开源。
针对量化 U-Net 脑肿瘤分割,研究者提出 MSDF 加速器 DEX,通过数字级提前退出等四种运行时机制,在 BraTS 上把数字周期减少 38.38%,平均 Dice 达 80.58%(浮点模型为 81.20%)。
研究揭示 Bayesian PINNs(B-PINNs)常用的对撞结构会引发物理参数后验的严重系统性偏差,即使先验以真值为中心,后验仍会漂移并远离真值。作者提出层级链模型(物理生成轨迹、轨迹生成观测)来规避该偏差,并通过离散化随机动力学后用 particle MCMC 精确采样,解决了由此带来的 doubly intractable 推断难题。实验证实了预测的偏差,并表明链式建模能成功避免该问题。
研究首次将冻结的决策模型 Jev 用于强化学习训练过程,在参考策略、探索评判和回放评分三个位置替代传统组件。在九个 MiniGrid 任务和三个 Atari 游戏上,使用 Jev 的训练优于标准 RL 学习器,包括学习器单独无法取得进展的场景,且 Jev 本身保持未训练状态。
针对图模型冲突消解(GMCR)将"不作为"隐式处理、无法刻画公告与泄密等行动的问题,作者通过为状态增补决策者的认知状态,引入"保状态行动":物理行动改变物理状态,保状态行动只改变认知状态,不作为则无状态转移。
DIAL-OPD 是一种 token 选择方法,通过用教师与学生概率的对数均值加权奖励幅度,弥合对数概率与概率空间,仅保留 40% token 即超越 Vanilla OPD 及其全 token 变体。
NanoProof 是首个完全开源的因子化执行引导定理证明器,训练数据、提取工具、训练流程与权重全部公开,可在 Lean 4 中端到端复现。它在 MiniF2F-Test 上取得 50.8% pass@16,算力消耗比 HyperTree Proof Search 和 ABEL 分别低约 90 倍和 7 倍,比 AlphaProof 低逾四个数量级。
SDPAD 是一个全脉冲驱动的端到端自动驾驶规划流水线,通过量化 ANN2SNN 转换将预训练 ANN 感知栈转为整数脉冲形式,并用 Spike-QFormer 完成规划。
Sera 是一个语义表示聚合框架,通过规则知识与 LLM 解读从电池时序中提取退化语义,与时间模型表示经门控聚合,在主流基准上预测误差最高降低 37.3%。反事实分析显示预测响应与关键退化描述符含义一致,验证了其可解释性。
研究提出 DRL-DCO 算法,用基于 DDPG 的 actor-critic 智能体统一调度差分进化(DE)的探索与 CMA-ES 的协方差引导利用,并联合调控种群规模、精英保留与重启机制。
针对脉冲神经网络(SNN)在图像-文本检索中难以捕捉跨模态对齐所需语义结构的问题,研究者提出多头脉冲图注意力网络 MSGAT,并配备动态注意力头以进行脉冲驱动的图推理与聚合。
研究者提出 Generative Adversarial Loop(GAL),一个生成器-判别器框架,通过判别器智能体自动生成对抗数据暴露当前系统弱点、生成器智能体发现算法加以克服,实现自主目标设定与算法改进。
RISR 是一种残差信息驱动的符号回归方法,通过残差编码器将输入、目标、当前预测与残差压缩为连续 token 来条件化语言模型生成公式,并用双视角关系编码器预测候选修正的拟合后效用。
MetaEncoder 将预训练的 Muse-Glimmer 30B 解码器微调为指令遵循的决策编码器,采用双编码器架构和单向对比学习实现请求与候选选项的对齐。该方法同时支持小于 256 的闭集候选和百万级开集候选,在 11 个基准套件、190 项任务上评测,覆盖多模态决策、理解与检索,并在推理密集型任务上暴露出当前局限。