MemDuet:为长上下文推理学习双过程记忆
MemDuet 是一个双过程记忆框架,用小型语言模型做快速并行证据筛选(System 1),用大语言模型按文档顺序做记忆更新验证与重写(System 2),分三阶段训练。在 RULER-HQA、LongBench v2 和 2WikiMultiHopQA 上,其端到端推理速度较 RL-MemAgent 平均提升 9.74 倍,输出 token 减少 73.91%。
MemDuet 是一个双过程记忆框架,用小型语言模型做快速并行证据筛选(System 1),用大语言模型按文档顺序做记忆更新验证与重写(System 2),分三阶段训练。在 RULER-HQA、LongBench v2 和 2WikiMultiHopQA 上,其端到端推理速度较 RL-MemAgent 平均提升 9.74 倍,输出 token 减少 73.91%。
LatentMoE 将专家计算移入低维空间,使专家的输入维度与中间宽度成为显式设计选项,并证明专家局部 Jacobian 秩受这两个维度共同约束,在固定单专家参数量下二者均衡可最大化秩上限。跨模型规模和路由粒度的形状扫描一致偏好近正方形专家;进一步用逐层内在维度(ID)指导深度方向的容量分配,在保持每层参数量、激活 FLOPs 和通信量不变的情况下,相比逐层同构基线取得更低验证损失和更强下游性能。
一篇 arXiv 综述从两个视角梳理递归自我改进(RSI)研究:一是提出涵盖更新目标、更新组织、更新调度与范围、反馈与选择四组共九个设计维度的统一分类法,将现有方法置于同一设计空间;二是分析现有 RSI 方法如何借鉴优化、正则化、数据增强、持续学习与对抗学习等传统深度学习机制,并结合进化计算拓展新思路。文章还回顾了在线、离线及离线转在线三种设定下的自我改进评测基准。
研究者提出原理分布蒸馏(RDD),通过流匹配从多条文本推理路径中蒸馏,训练一个在定长隐序列上的条件流,并用 within-query mixup 在完整隐式推理之间插值以扩展蒸馏目标。该流非自回归地生成整段隐序列,再由冻结的语言模型自回归解码答案。实验显示,这一分布式推理器在答案覆盖率上优于所评估的点值隐式推理基线,在高等数学任务上尤为明显。
研究者发布 OpenTWBench 台湾领域知识评测套件,含 255,854 道四选一试题的 tw-exam-bench(覆盖 148 个学科、15 年台湾国家考试,剔除 2,180 道依赖图片的题目后使用 253,674 道)和 1,696 道难度分层的 tw-formosa-bench。
研究者提出先在前沿模型 GPT-5.4-nano 上用真实流量反馈迭代提示词、待行为收敛后再通过 SFT 将生产行为蒸馏进 SLM 的两步法。在家庭护理排班智能体案例中,基于 11.6k 条生产决策用 LoRA 微调的 Qwen3-8B 达到 0.913 一致率,而教师模型 GPT-5.4-nano 重跑自身记录提示词时自洽率仅 72.7%。
研究提出"执行后学习"方法,将程序执行结果作为中间状态,为同一策略触发额外的学习交互,并用动作特定信用分别给初始动作和纠正动作分配信用。在 Image-to-TikZ 的 945 个留出样本上,单次调用渲染成功率达 92.70%,高于继续单阶段 GRPO 训练相同迭代次数后的 88.25%。该纠正能力依赖中间状态,无法通过继续单阶段训练复现,代码已开源。
PsyMemBehav 通过两级身份到行动推理,将心理学启发的用户画像与检索记忆映射到平台行为,并基于 Reddit、Bluesky、Twitter 上 5,862 名真实用户的 5.57M 条行为构建了 PsyMemBehav-bench。
一项研究在 ALFWorld、ScienceWorld、Search-QA 和 WebShop 上对比了十种代表性方法与 GRPO,覆盖三种模型规模,共 132 次训练、12,124.4 H800 GPU-hours。结果显示:各方法相对 GRPO 的提升范围有限,没有一种方法能在所有设置下稳定胜出;强劲的最终性能可能掩盖训练不稳定,额外训练成本也未必带来更好表现。
ScienceBuddy-PV 将 ScienceBuddy 的递归设计适配到泛血管介入研究,通过结构化证据账本、器械-血管本体、弃权契约和保留失败库实现。
MontageFlow 是一种流匹配模型,通过将输出限制在满足脑电通道间线性恒等关系的信号上,实现物理有效的 EEG 生成。该模型还以从整个 EEG 窗口编码的生理状态向量为条件,该向量在生成时从潜空间先验中采样。在 3 个大规模基准上,其 TS-FID 较最接近的对手提升 1.6-3.6 倍,同时保证有效性。
阿里提交 WMT 2026 通用机器翻译共享任务的 Qwen-MT-Lumen,采用四阶段流水线:继续预训练与监督微调、将离线 M²PO 扩展为在线偏好优化、由更大教师模型向 Qwen3-14B 学生做同策略蒸馏,并以结构感知推理与选择性修复保证格式。
研究者提出 HiPPT,一个将每种监督来源匹配到合适证据范围的生理学基础框架,用于可穿戴 PPG 表征学习。该工作构建了包含 202K 用户、超 400 万条腕戴记录与波形形态及元数据上下文描述配对的 PPG-Text 语料,结合记录级形态对齐与跨记录上下文对齐,并引入波形引导文本建模。
研究者提出 Wenyan Thinking,将中文推理模型的中间推理改写为文言文、仅保留简短直接答案,并在改写后的监督数据上微调 Qwen3-4B-Thinking-2507。在 MMLU-ProX-Lite-ZH、CEVAL 和 AGIEval-CN 的预算受限评测中,该方法显著缩短推理长度并降低缺答率;在主要基准上持续优于同等数据与配方训练的紧凑现代汉语对照组。
研究发现生成式推荐模型存在条件定向投毒漏洞:在黑盒设定下注入不到 1% 的合成交互,即可显著提升触发条件下恶意目标的推荐概率。为此提出 AlignPoison 框架,从 API 输出中发现并采样上下文对齐前缀,在单模态与多模态基准上 ASR 提升最高达 16.3 个百分点。
SAT-RL 是一个强化学习框架,通过多轮工具执行训练 LLM 与 Z3 等符号求解器交互,结合可验证合成数据、求解器增强轨迹的监督预热和工具感知奖励的求解器接地 RL。实验显示,SAT-RL 在域内和域外逻辑任务上均大幅提升了带工具符号推理能力,代码已开源。
研究直接测量了 86 个开放权重模型检查点在 7 个基准和 6 种硬件平台上的推理能耗,发现能力相近的模型能效差异巨大,多数配置比同等得分的最优配置多耗 2.6–4.8 倍能量,差距最高达 27 倍。开启思考模式平均增加约 3.7 倍能耗,且收益高度依赖模型家族与输出预算;FP8 可降低约四分之一能耗而得分几乎不变。生成 token 数并非能耗的可靠代理,会误判 18–24% 的模型配对。
研究者发布 BANGLAPLAN,一个覆盖十类任务、共 1,000 道题的孟加拉语约束规划与决策基准,含可行与不可行问题及四种语言语域。评测 11 个开源与闭源模型配置显示差距悬殊:GPT-6.1 Sol 准确率 98.7%,Qwen3.5-27B 开启 thinking 达 80.3%,而直接作答配置最高仅 30.9%,11 个配置中有 7 个低于“全部不可行”基线。
研究者提出 SYNC(Symbol-Indexed Neural Communication),一种词索引接口,让异构语言模型无需微调或学习型翻译器即可通信:发送方从共享词表选词并发送索引,接收方用自身激活拟合的词方向将事实写入隐藏状态。
针对长时程智能体"局部正确但任务不完整"的问题,研究者提出 Interlock 框架,将任务表示为带类型的完成图,并编译为可重置工作区、公开请求与评估标准。
研究团队在冻结的 Qwen3.5-4B 主干上训练共享候选答案读取器,将直接决策与按需、可中断推理统一起来,通过收益门控启动推理、自然状态触发显式读取、熵规则接受答案并取消生成。
Echo 是一种用于 LLM 训练与推理的 4-bit all-reduce 方法,通过高精度求和并将每次量化注入的误差反馈到后续调用中,使累积误差与模型深度无关。
DAGFormer 是一种由联合训练的拓扑预测器规划跨层连接的 Transformer 语言模型,可一次性规划整个模型的路由,而非逐层单独设置。在 75M 至 1B 参数的 OLMo-2 配对实验中,它将 WikiText-2 困惑度较原版 Transformer 降低 17% 至 25%,1B 版本用 5B token 训练即优于用 10B token 训练的原版模型。
研究指出当前多模态大模型机器遗忘评估存在三大陷阱:缺少留出评估以区分概念级遗忘与实例级过拟合、依赖合成微调知识而非预训练获得的真实知识、对不同遗忘方法套用相同训练设置导致比较不公。
PA1-OPD 在语料前缀知识蒸馏基础上,对每个选定前缀增加一次学生采样转移后的教师反馈,从而扩展监督状态并保留下一 token 预测。
MOSAIC(Multimodal Orthogonalized Sparse Autoencoders for Influence Characterization)通过共享稀疏图像-文本隐空间与 EK-FAC,将训练样本影响分解到具体文本短语和图像区域,实现 VLM 的 patch 级归因。
INTACT 用小型外部编码器为冻结骨干模型诱导潜在推理,将隐藏状态迭代映射为潜在推理前缀,再由冻结模型输出文本推理与答案。在 1B 至 8B 的四个冻结骨干上,GSM8K 准确率从 75.8% 提升至 79.3%(Llama-3.2-3B)、从 77.6% 提升至 79.7%(Qwen2.5-3B),Llama-3.2-3B 端到端延迟降低 19%。
研究提出一套自动化框架,可从死亡调查报告中分类疑似过量用药死亡,并生成由专家知识引导的支持性解释。实验显示,采用基于输入报告证据的 pipeline 模型(先解释后预测)优于自解释模型,最佳模型比当前部署的规则系统高出 15%,同时保留专家介入最终决策的空间。
针对扩散模型迭代采样中的误差累积与曝光偏差问题,研究者提出一种校正器:它以基础模型预测为输入、以同一真值为目标训练,在每步去噪中迭代精修干净样本预测,从而修正中间步骤的预测、避免早期伪影残留。
研究在表格数据上对比四种类型化决策模型与三个 LLM,覆盖行分类、事实核查和异常检测任务。每个请求以原始形式及 21 种保持内容不变的改写形式发送,决策模型以更低成本达到与 LLM 相当的表现,其中三个对问题表述方式远为稳健。但所有模型对表格组织方式都不稳健,至少三分之一的决策会因表格或问题的某种改写而改变,低概率决策最易变化。
ClawLoop 是一个无需外部教师模型、仅依赖极少先验的自我改进框架,将任务合成、训练与诊断反馈组成自循环。以 Qwen3.6-27B 作为循环模型,ClawLoop 在 SkillsBench、Claw-Eval-Live 和 ClawGym-Bench 上取得持续提升,迭代优化的任务还可迁移至 Qwen3.5-4B 和 9B 模型并在所有基准上获得增益。
研究指出,现有智能体数据科学(agentic DS)评测只看下游预测性能和代码正确性,掩盖了数据泄漏、验证不当等方法论失败。作者在 220 个数据科学任务上分析了常见智能体框架和模型的失败模式,并构建了可复用测试套件,针对六类特定失败进行受控测试。
针对块扩散语言模型仍按严格顺序去噪 block 的问题,研究者提出免训练解码算法 One Block Ahead(OBA),在去噪当前 block 的同时并行去噪下一个 block,并将下一 block 的 token 与对应的采样器状态(含自条件信号和去噪时间)一同提升。
研究者提出一种基于 LLM 与文档级篇章结构解析的结构保持数据增强框架,通过识别句对间的修辞关系并抽取关键短语,在保持原有篇章结构的前提下替换为语义连贯但主题偏移的内容。在文本摘要和问答任务上,增强数据提供了互补监督并提升了混合数据训练效果,与标准 RST 解析器的对比及消融实验进一步支持该篇章表示。论文已被 PACLIC 2026 接收。
研究团队推出 AgriJev,基于 Qwen3.5 适配的 0.8B、2B、4B、9B 系列模型,通过单次前向调用对农业文本、判断问题和候选定义返回评分与相对概率。
一项 arXiv 研究通过受控视觉内容消融实验发现,在原生多模态预训练中保留视觉内容可改善图文样本的文本预测,且多模态损失收益随计算量近似呈幂律增长。视觉内容还能提升纯文本描述的空间推理能力,在定位、导航和符号规划任务上增益最持续,同时不改变最优模型规模与数据配比,也不损害纯文本损失和聚合语言分数。
研究者提出 LePhilBench,用于评估 LLM 的法哲学推理能力,包含两项基准任务与一个数据集。其测试集收录 220 份美国最高法院判决意见,由法学教授设计 14 个法哲学标注问题,3 名受过法学训练的标注者完成全部标注,共产生 9,240 个法哲学标签。
针对扩散语言模型(dLLM)强化学习中的探索不足与信用分配粗糙问题,研究者提出 ForkGRPO 框架,从参考轨迹的高熵中间状态采样多条续写并复用共享前缀,结合组内相对优势与蒙特卡洛状态价值差实现段级信用分配。
研究团队推出 NeoTrace 框架与 KoAGE 基准,用于评估大语言模型对韩语新词的掌握。该基准含 4,271 条新词条目,覆盖三项习得任务与两项生成任务,其中生成任务首次在原始语境下对比模型造词与真实新词。在 21 个模型上,词汇记忆与语境推断出现分化:五模型时序分析中,模型仅能定义 13-30% 的截止年份新词,却可从单次用法推断含义。
研究者发布 ELARSpeech,一个从濒危语言档案库整理的大规模多语言语音资源,包含 675 种低资源语言、共 30,202 小时语音,融合人工标注与无标注录音。实验显示该数据集可将 ASR 和 TTS 能力扩展至多种低资源语言,伪标注无标注数据还能带来额外提升,但语音表征分析也暴露出当前多语言模型向语言长尾迁移的局限。数据集、训练好的 ASR 与 TTS 模型及完整数据构建流程均已公开。