冻结记忆还不够:重新思考外部记忆作为提取方式
研究通过跨模型冻结记忆提取发现,在源模型上训练的记忆冻结后迁移到不同目标模型时,记忆内容与正确寻址都重要,但迁移后的记忆表只有通过对齐目标模型的 reader 才能发挥作用。
研究通过跨模型冻结记忆提取发现,在源模型上训练的记忆冻结后迁移到不同目标模型时,记忆内容与正确寻址都重要,但迁移后的记忆表只有通过对齐目标模型的 reader 才能发挥作用。
研究者提出免训练框架 REVEAL,通过逆向工程思路从前沿 LLM 智能体的文本轨迹中提取"Agentic Latents",为冻结的目标智能体生成局部激活控制方向。在 Terminal-Bench 2.1 和 Humanity's Last Exam with tools 上,该方法在三个目标模型上均取得高于未修改智能体的准确率,且无需目标模型训练或访问源模型内部。
研究者提出 Hybrid Gated Attention(HyGA)框架,包含三种门控策略,从注意力多个阶段提取信息,协同构建 element-wise 与 head-wise 门控,捕捉头内与跨头信息交互。
研究提出 Token-Group Quantization,一种硬件友好的激活 PTQ 框架,通过轻量预测器从 pre-scan 特征推断分组,静态近似 post-scan 分组 oracle,避免运行时统计收集与动态裁剪更新。
研究者提出诊断基准 Choice2Seq,用序列组合率(SCR)衡量模型在完整答案选择与逐步序列构建之间的正确性保留。Jev 在算术和词汇检索上选择准确率达 97.1% 和 99.5%,但在序列构建下仅保留 33.0% 和 2.1% 的正确选择,StartLux 和 Qwen 也存在明显差距。将局部选项限制为候选支持的字符可改善构建,显式位置索引可提升复制保真度。
研究者提出免训练框架 C⁴,将局部解码加速与自适应全局提前退出结合,在 LLaDA 上校准一次后即可迁移至全部 12 个零样本任务及 Dream。该框架使解码步数减少 64-95%,实测解码循环加速 2.6x-18.6x,任务性能接近完整解码。其中提前退出主要在短答案任务上节省计算,局部加速则在推理与代码生成任务上贡献更大。
EMNLP 2026 论文提出仅靠语言规则做提示词压缩,部署时无需 LM 前向计算,压缩全程在 CPU 侧完成。该方法通过离线进化搜索组合词汇、句法、语义和篇章规则,在短文本、多文档推理和对话记忆问答数据集上取得与近期先进提示词压缩策略相近的表现。性能在轻度至中度压缩下最强,压缩越激进越退化,且规则随压缩比升高从 token 剪枝转向句子抽取。
研究在 FinQA 和 TAT-QA 上训练线性探针,从 Qwen3-8B、Llama-3.1-8B、Gemma-2-9B 的残差流内部激活中检测"自信幻觉"。
DeepRubric 提出一种数据构建框架,先确定有证据支撑的报告应被评估什么,再反向合成对齐的 query–rubric 对,用证据树递归扩展子问题、以叶子节点作为可验证评估目标。
研究将异步规划统一到一个框架下,并发布三个覆盖任务图规模、状态与资源约束及执行时事件的基准。在 AsyncPlan-XXL 上,PDDL2.1 平均规划准确率仅 30.8%,Planner 为 81.7%,CP-SAT Formalizer 达 94.0%;100 个动作时三者分别为 9.0%、44.5%、82.5%。
ConRAG 是一个共识驱动证据流框架,通过多视角共识排序筛选相关证据,并用槽位机制在依赖的推理步骤间传递中间信息,以提升 LLM 的多跳问答表现。在三个多跳 QA 基准上,ConRAG 在 Gemma-4-31B-it 上平均分超出最强基线 5.8 分,端到端运行时间和 token 消耗分别降低 75.9% 和 67.3%。
研究构建了含 263,911 篇长篇故事、覆盖 14 个 TTCW 维度的数据集,测试推理轨迹能否提升结构化文学评论生成。在 Qwen3-4B、Qwen3-8B 和 Nemotron-8B 上,无轨迹监督的分数模仿保真度更高且报告生成近乎完整,而轨迹监督使完成率降至 85.9%–90.9%。失败分析显示 88.6% 的失败推理生成在轨迹内出现语义重复循环。
研究提出 steering Hessian,用于刻画模型行为损失对引导向量的二阶导数,其顶部特征向量即"锐利方向",微小扰动即可引发大幅且依赖输入的行为波动。
ContextWeaver 是一个面向 LLM 智能体的选择性依赖结构化记忆框架,将交互轨迹组织为推理步骤图,通过依赖构建与遍历、紧凑依赖摘要和轻量验证层为后续动作选取相关上下文。在五个软件工程与终端基准上,它以固定预算提升全部五项任务的解决率,并减少 13-18% 的智能体步数;在 SWE-Bench Pro 上将解决率从 66.5% 提升至 72.6%,三个模型骨干均有显著提升。
研究发现语言模型并非难以处理自指本身,而是难以处理真值沿引用传播无法在有限步内确定的结构。在循环真值依赖但存在唯一一致赋值的问题上,来自三个家族的四个开源模型回答 INCONSISTENT 的比例比对应的无循环版本平均高 31.0 个百分点,比约束版本高 36.4 个百分点,比困惑度匹配的对照组高 37.1 个百分点。
研究者提出 AdaptFuse,一个无需训练的框架,将概率计算从 LLM 中完全外化:符号模块维护离散假设集上的贝叶斯后验,冻结的 LLM 通过多样本 Dirichlet 聚合提供语义推理,两者经熵自适应融合按预测置信度自动加权。
研究者提出 LoopRPT,一种专为循环语言模型(LoopLMs)设计的强化预训练框架,通过将下一 token 预测重构为下一 token 推理任务,用 EMA teacher 参考和带噪隐状态 rollout 将强化信号直接分配给隐式计算步骤。
研究对比四种开源语音 LLM 在 SpeechMMLU 和 VoiceBench BBH 上的跨层 CKA 与逐层答案 margin,发现 Qwen2.5-Omni 和 MiniCPM-o 的语音与文本表示在中层对齐但后层答案 margin 仍不同,即中层几何对齐不意味着功能等价;Qwen2-Audio 则表现为弱对齐,属于另一种失效模式。
研究者推出 QuantEval,一个评估 LLM 能否完成量化金融"计算—实现—验证"闭环的基准,包含 1,575 个专家验证实例,覆盖知识问答、量化数学推理与量化策略编码三个维度。
该研究基于 LightGBM 构建多时间跨度预测与决策支持架构,为 15、30、60、120 分钟分别建立回归器,联合预测未来等待时间与排队长度。模型使用时间滞后的交通、服务、密度与排队特征,并通过分位数 LightGBM 给出等待时间预测的 95% 预测区间。框架还输出机器可读建议、告警、聚合 KPI 与置信度信息,并建立可复现的合成数据基线。
研究者发布 EconCausal,一个从 2,595 篇顶级经济与金融期刊实证研究中提取的 10,490 条上下文标注因果三元组基准。在 19 个模型上测试发现,单上下文预测最高约 84% 准确率,但源与目标符号相反时平均准确率降至 44.27%,且带符号源示例比仅给目标输入低 11.54 个百分点。模型预测研究报告中不显著效应的准确率仅 19.16%。
Eigen-Agent 在 Humanity's Last Exam Bio/Chem Gold 上达到 48.3% 准确率,超过最强智能体基线 13.4 分、领先前沿 LLM 最多 18.1 分,同时减少 53.5% token 用量和 43.7% 智能体步骤。
研究对比六种检测器在四个家族十个 VLM 上的表现,发现只有图像 token 的 key 与语言模型文本注意力汇 key 的中心化余弦相似度能检测出视觉注意力汇,即视觉汇是 key 与文本汇 key 对齐的图像 token。
研究在多种语言模型内部识别出可区分情态类别(可能、不可能、完全无意义等)的线性表征,称为情态差异向量,其判断可靠性高于此前报道。这些向量随训练步数、层数和参数规模增加按一致顺序出现,且可用于建模人类细粒度分类行为。
研究者提出 Prolog-Initialized Chain-of-Thought(π-CoT),将多跳问题改写为 Prolog 查询并拆解为单跳子查询,依次求解产生中间结果,再用其初始化后续 CoT 推理。在多跳问答基准上,π-CoT 匹配或超越标准 RAG 与上下文内 CoT,在检索能提供必要证据的问题上提升最大。
论文提出 NoteBank,一种免训练、即插即用的稀疏情景记忆机制,在未知未来查询前先归档选定文本,用骨干网络原生特征进行写入与寻址,并通过 replay 走原生前向计算读取检索到的证据,无需外部嵌入模型、单独训练的检索器或独立神经阅读器。
研究为助手长期记忆设计了三分类任务契约(SUPERSEDED / NEEDS-CONFIRMATION / COMPATIBLE),基于 STALE 构建 500 对测试样本,评估类型化 System One 决策模型 Jev。
TreeFlex 是一个让智能体自身策略决定搜索位置的框架:模型以 Reflection 和 Execution 两种角色,在 harness 维护的搜索树上选择加深、分支、回访或停止,并用树感知的 GRPO 联合训练导航、任务动作、检查点与方案评审。
RM-OPD 是一个两阶段框架,先通过单域 GRPO 微调培养领域专家教师模型,再用路由在线策略蒸馏、领域贡献重加权和可选的评估标准上下文蒸馏,将多个教师整合为单一学生模型。在多个 RM benchmark 和两个基座模型上,RM-OPD 一致优于原生 Mix-RL 及其他强基线,并出现"教师超越"效应。
研究比较了三种文本接口设计对音视频问答提示词优化的影响:单一 OmniLLM 直接推理、captioner-reasoner 系统,以及由主智能体协调子智能体 OmniLLM 的智能体架构。基于 Qwen3-Omni 和 Gemini 的实验显示,直接提示词优化带来依赖模型的增益,而 captioner-reasoner 与智能体系统虽暴露更可解释的优化接口,却更难优化。
针对多数基于学习的 MCoT 方法按预定义阶段分别优化、导致推理碎片化和训练-推理状态差距的问题,研究者提出统一迭代推理框架 ReState,包含统一推理状态建模(URSM)与闭环推理状态学习(CRSL)两个组件。
研究者提出 MAPLE 框架,用于刻画知识提取增强(KEE)技术对 LLM 参数化知识提取的影响,其诊断指标在表层、概率和超越采样三个层面区分答案恢复与干扰、未恢复失败中的 gold-token 排名变化,以及固定预算采样遗漏答案的恢复情况。
研究用 GRPO 训练 Qwen2.5 和 Llama3,让模型生成连接感知与行动的 if-then 规则,在四个心智理论(ToM)基准上优于提示、监督微调和 think 推理。3B 以上大模型生成的规则还能迁移,提升 GPT-4o-mini 的下游表现,说明显式规则可弥合 ToM 推理差距并支持跨模型知识迁移。
研究者提出免训练框架 ARP-CD,通过在表征空间构造对比负样本缓解 Video LLM 的视频幻觉:利用答案预测位置上视觉 token 的注意力质量,引导语言模型输入视觉隐状态做有界梯度更新,降低视觉注意力并生成负样本,与原始分支预测对比。在四个 Video LLM 和四个基准上,ARP-CD 在多数模型—基准组合中优于代表性免训练基线,减少幻觉的同时提升通用视频理解。
研究通过测量概念在两个 LLM 之间传递的效果,发现概念可分为三类:可完全表达(如"笑话以反转结尾")、未来更强模型或可表达(如"故事世界观连贯性")、以及面临可表达性上限(如"喜剧声音",其含义与身份和社会群体意识绑定)。研究提出提示词优化算法,在基准上比现有算法提升最高 14%,并发现可恢复概念可通过定义和解释传递,不可恢复概念即使给出示例也无法传递。
研究者提出 Function-Space Policy Optimization(FSPO),一种单策略框架,将当前特权适应与函数空间时序整合相结合,通过存储稀疏的历史 next-token 分布作为固定时序目标,无需维护持久教师模型。
研究者提出大决策模型(LDMs),让语言模型通过一次 prefill 前向传播,直接输出运行时指定标签的显式概率。
SAE-IDF 用稀疏自编码器(SAE)将符号编码为稀疏码,再按维度稀有度重新加权,实现异构符号系统间的单元匹配。在 6 类符号系统的 12 项任务上,该方法在 Gemma-2-9B 上全部超越同模型稠密基线,在 Llama-3.1-8B 上除一项外全部超越,最高提升 45 分。稀疏码每个维度都有可读含义,每次匹配可分解为具名概念,为构建通用符号骨干铺路。
研究者提出 CAR-MCTS,一个由确定性边界引导的 MCTS 规划器,为鲁棒在线 MDP 规划提供首个随时确定性保证。该方法将计算限制在采样搜索树上,同时确定性地界定未采样轨迹的贡献,可剪枝可证明次优的分支,并在最优根动作被认证后终止。固定策略边界还提供了一种随时策略评估机制,无需枚举完整状态空间。
针对长输出 LLM 推理中 KV cache 的内存与带宽瓶颈,研究者提出混合精度 key cache 量化方法 PN-Mix,通过 RoPE 通道对级别的注意力 logit 扰动分析,识别 query–key 配对范数乘积大的显著通道对并分配更高精度,该显著通道对在 prefill 阶段确定一次、解码全程复用。