Phantom Transfer:数据投毒可绕过数据层防御
论文提出一种名为 Phantom Transfer 的数据投毒攻击,即使已知毒样本如何被放入原本干净的数据集,也无法将其过滤掉。该攻击通过改造 subliminal learning 使其适用于真实场景,无论数据由哪个模型生成、哪个模型在数据上训练、攻击目标是什么都能生效,并绕过了 11 种已测试的数据层防御,其中包括用另一个模型对每个样本进行改写。
论文提出一种名为 Phantom Transfer 的数据投毒攻击,即使已知毒样本如何被放入原本干净的数据集,也无法将其过滤掉。该攻击通过改造 subliminal learning 使其适用于真实场景,无论数据由哪个模型生成、哪个模型在数据上训练、攻击目标是什么都能生效,并绕过了 11 种已测试的数据层防御,其中包括用另一个模型对每个样本进行改写。
TriTrust-PBRL(TTP)通过联合学习共享奖励模型与专家专属信任参数,让信任参数在梯度优化中自动演化为正值(信任)、近零(忽略)或负值(翻转),从而反转对抗性偏好而非直接丢弃。
研究将 MMLU 和 XQuAD 评测题目的阿拉伯语翻译按不同曝光程度喂给四个开源指令微调 LLM,再在原始英文任务上评测,发现 TS-Guessing 和 Min-K%++ 两种英文探针的污染信号在翻译曝光下基本消失,而英文 MMLU 成绩仍随阿拉伯语曝光上升。作者提出免训练诊断方法 TACD,基于跨语言预测一致性与选项重排,其跨语言一致性显著高于独立基线,但幅度因模型而异且非严格单调。
SRUG 是一种监督式独立融合驱动生成器,通过确定性源到目标映射实现配对 MRI 合成,无需生成器-判别器对抗、变分隐变量采样或迭代扩散去噪。该模型采用适配图像重建的残差编码器与嵌套多尺度解码器(NMD),结合 L1 损失和多尺度结构损失(MSS loss)联合监督。
研究提出用单个 max-min 秩最优确定性排列替代经典置换特征重要性中的 B 次随机打乱,消除估计方差并将复杂度从 O(B·n·p) 降至 O(n·p)。在位置-尺度特征分布下,该方法可精确恢复尺度调整后的线性回归系数。
研究提出一种可扩展方法,通过合成采样近最优决策树生成大规模预训练数据,以支持决策树的元学习。基于 MetaTree transformer 架构,该方法性能与使用真实数据或计算昂贵的近最优决策树预训练相当,同时显著降低计算成本并提升数据生成灵活性。
AyurParam-2.9B 是基于 Param-1-2.9B 微调的阿育吠陀领域双语语言模型,训练数据涵盖古典文本与临床指南,包含英语和印地语的情境感知、推理及客观题问答。在 BhashaBench-Ayur 上,它超越同规模(1.5–3B 参数)全部开源指令微调模型,并与更大模型表现相当甚至更优。
Inverse-LLaVA 反转了传统多模态对齐方向,在解码器注意力内将语言状态投影到视觉特征维度,由模态专属映射生成残差 query、key、value 更新,冻结骨干网络、无需独立对齐阶段。最终 7B 模型在 VQAv2 得 78.45%(LLaVA-LoRA 为 79.13%),VizWiz 得 50.96%(对比 48.56%),TextVQA 为 56.96%(对比 58.47%)。
研究者提出 GAP(Generalisation-and-Perturbation)方法,通过表面重命名与内核重写两类可解释变换,自动生成数学等价变体,并在 1938 至 2024 年全部 1,051 道 Putnam 竞赛题上构建出 6,306 题的 PutnamGAP 语料库。对 18 个商业与开源模型的评测显示,所有模型准确率均下降,内核重写下最为严重,且该差距不随模型能力增强而缩小。
BEAT 是一个结合频率特定误差监测与自适应梯度调制的长期时间序列预测框架,通过 Frequency-Specific Monitor 在归一化空间比较预测与目标小波系数,并用 Dynamical Gradient Balancer 将误差比转为有界正系数,使相对误差高的分量获得更大梯度权重。在七个真实数据集上,BEAT 取得了与当前最先进预测方法相当的竞争性表现。
一本关于大语言模型的书,聚焦基础概念而非全面覆盖前沿技术,全书分为预训练、生成模型、提示词、对齐、推理与推理(reasoning)六个主要章节。该书面向大学生、自然语言处理及相关领域的从业者与专业人士,可作为对大语言模型感兴趣者的参考。
MIMESIS 是一个专为用户模拟打造的用户模拟器,基于真实人机对话训练,融入显式推理监督和 13 种真实用户行为模式,其 9B 模型在 SOUL-Index 上达到 65.7,超过最强前沿模型。
MemTrace 是一个来源感知的记忆系统,将执行历史存为锚定文件、符号、测试等关键信息的不可变 Memory Traces,并用 Memory Trace Graph 组织其执行顺序与依赖。
针对记忆增强大语言模型仅凭已检索记忆估计效用、导致未被检索记忆效用无法识别的问题,研究者提出因果框架 Causal Memory Policy(CMP),通过干预检索本身、预留固定上下文槽位并采用自归一化逆倾向加权来估计记忆效用。
研究者发布 RealCompanion 基准,包含 10 段真实人际关系、27,218 条消息、最长 120 天的完整对话记录,以及人物画像、persona、聊天与问答测试项,每个标签均指向支撑消息。
FlowState 将执行状态作为可跨请求保留与重访的记忆,通过增量状态更新(ISU)与渐进状态访问(PSA)统一当前决策与历史信息复用。在相同 DeepSeek-V4-Flash 模型下,其 MemoryArena 平均成功率与 τ³-Bench 平均通过率分别比全上下文基线提升 4.55 和 13.95 个百分点,总 token 消耗降低 43.2% 和 40.6%。
针对大推理模型(LRMs)过度思考导致 token 消耗过高的问题,研究者提出一种无需训练的框架:利用二次规划将偏离的隐藏状态投影回潜空间中高效推理步骤聚集的集中区域,从而在不牺牲性能的前提下减少 token 生成。
研究者推出 READ-Bench,一个覆盖 12 个诊断数据集、以多变量时间序列为核心的历史案例检索基准,按共享故障或事件类型而非信号形状定义相关性。在统一协议下,预训练表示在纯检索上相对强经典与符号基线无统计显著优势,决定性因素是重排序阶段少量已解决案例监督——高斯过程重排序器在嵌入空间传播少量邻居标签,效果远超更复杂表示或语言模型推理。
研究者提出 ExplorationBench,用规则可执行、与常识冲突的 Alien Worlds 来评测 AI 的探索能力,包含 AlienCode(31 个发现目标、70 个任务)和 AlienLogic(24 个发现目标、70 个任务)两个沙盒。
DENSE 将智能体执行轨迹组织为嵌套捷径树,通过合并冗余尝试、识别已解决子任务,把噪声执行轨迹转化为结构化可复用的任务求解反馈。在 Terminal-Bench 2.1 上,DENSE 在四个智能体模型上取得最高严格通过率,较初始尝试提升 7.12-21.81 个百分点,重试时智能体 token 减少 19.0-43.6%。在困难任务上,DENSE 的累计通过率在多轮反馈迭代中持续优于自我反思。
EconSkills 是一个技能库与评测框架,将 EconWebArena 中已验证的轨迹蒸馏为参数化标准操作流程,用于检索实时经济数据。在受控迁移测试中,匹配技能相比无技能提示提升了成功率,并在配对成功任务上所需步骤更少;参数化技能提示明显优于原始轨迹提示。使用完整 50 技能库时,检索整体与无技能基线相当,在存在直接同族匹配的任务上表现最佳。
LAMAE 是一种多模态、结构感知的掩码自编码器,通过共享潜在注意力模块在 study-view-entity 层级上直接交换信息,实现患者级表征的联合自监督预训练。该模型在超 50 万次 MIMIC-IV 住院数据上预训练,在院内死亡率、ICD-10 与 DRG 编码、住院时长等多模态任务上优于模态特定预训练及对比学习、视觉语言基线,同时在单模态任务上保持竞争力。
针对恶劣天气与低能见度下多传感器融合可靠性下降的问题,研究者提出 CRUISE 框架,用视觉语言模型(VLM)引导的不确定性量化模块生成像素级不确定性估计,为融合过程提供细粒度指引。该框架还引入动态自适应机制显式建模跨模态依赖,以充分利用多传感器输入的互补性。
针对基于分解的 Programming-by-Example(PBE),研究者提出 Solver-Aware Decomposition(SAD)训练框架:在保留 GT 子目标监督作为结构支架的同时,用策略梯度对分解器在线优化,奖励信号为冻结学习合成器在目标程序上的交叉熵损失。
研究提出基于图语言模型(GLM)的检索器 GLM-RAG,并对比 GLM、GNN 与向量搜索三类检索器在单跳和多跳 RAG 中的表现。微调后的 GLM 检索器跨域泛化更优,在两个多跳基准上达到 SOTA,域内多跳 QA 与既有工作相当,且随参数与子图覆盖提升有良好扩展性。GNN 检索器以高效训练获得更高图覆盖,向量搜索基线则在单跳数据集上表现最佳。
研究提出"语义物化"现象:在长程智能体的 KV cache 中,下游事件的缓存行可作为独立可服务的计算视图,即使产生它的输入已被丢弃。在 Qwen3-8B 上,刻意构造的不含答案的事件可将 donor-aligned 恢复率从 6% 提升至 51%,而被动采集长期对话中的自然提及未检测到优势。紧凑状态可存活,较大载荷衰减至随机水平,且是否写入取决于措辞而非语义。
针对异步强化学习中陈旧 off-policy 数据导致训练不稳定甚至策略崩溃的问题,研究者提出熵归一化信任域(ENTR),指出比率尺度由 token 熵决定,并识别出会放大训练-推理失配的低熵区间。在长程智能体任务与数学推理基准上,ENTR 在 BrowseComp-Plus 上 avg@1 较最强基线提升 6.9%,可稳定训练至 30 个策略版本的陈旧度,并以 2.6 倍加速匹配同步 GRPO。
研究将文本世界建模形式化为可引导的状态转移问题,并构建了覆盖九个开源环境、十二个前沿模型家族的 239,403 条状态-动作轨迹。实验显示,掩码扩散语言模型(MDLM)通过双向锚点感知去噪,在连贯性、接地性和 rollout 多样性上优于参数量 4 倍于己的大语言模型,且推理延迟相当。
研究者推出 MedMemoryBench,用于评测个性化医疗智能体在长期临床跟踪中的记忆能力,数据集包含约 2,000 个会话、16,000 轮交互。该基准采用"边构建边评估"的流式评测协议,并系统研究了信息持续涌入导致检索与推理鲁棒性下降的"记忆饱和"现象。测试显示主流架构在复杂医疗推理和噪声鲁棒性上存在严重瓶颈。
LiteGUI 是一个构建轻量级 GUI 智能体的两阶段后训练框架,包含 Guided On-Policy Distillation 与 Multi-Solution Dual-Level GRPO,可在不要求模型复现固定演示轨迹的情况下完成多步 GUI 任务。
研究用 LLM 遗忘方法抑制模型对目标算法的直接回忆,考察其能否凭剩余知识重新推导出算法。结果显示 LLM 无法恢复近一半的目标算法,仅在解码时抑制算法名称提及就会让恢复率骤降至 19–39%,表明模型过度依赖记忆。可恢复的算法多为结构或核心思想较简单的,作者还引入生成式验证器以维持推理强度、避免“思维崩溃”。
研究者提出一种基于聚类的即插即用方法用于密集人群轨迹预测,按相似属性随时间对个体分组,以群体质心替代行人输入接入现有轨迹预测器。在多个密集人群场景中,该方法相比 SOTA 方法处理更快、内存占用更低,同时保持精度。
MissMAC-Bench 是一个针对多模态情感计算(MAC)中缺失模态问题的综合基准,提出训练时无缺失先验、单一模型同时处理完整与不完整模态两条原则,并在数据集和实例层面整合固定与随机缺失模式的评测协议。该基准在 4 个数据集、3 个语言模型上完成实验验证,代码已开源,论文被 EMNLP 2026 Findings 收录。
研究者提出 MobileWorldBench,用于评估视觉语言模型(VLM)作为移动 GUI 智能体世界模型的能力,并发布含 1.4M 样本的 MobileWorld 数据集。他们还提出将 VLM 世界模型接入移动智能体规划框架的新方法,用自然语言描述状态转移而非预测像素,实验显示语义世界模型能直接提升移动智能体的任务成功率。代码与数据集已公开。
研究者构建了基于 nuPlan 的大规模驾驶 VQA 数据集 DriveMind,用其训练 VLM 驾驶智能体后发现推理与规划存在因果脱节:移除 ego/导航先验会导致规划分数大幅下降,而移除 CoT 仅带来微小变化。注意力分析显示规划主要依赖先验而非 CoT,据此提出推理-规划解耦假说,并给出一种免训练探针,通过输入扰动下的规划鲁棒性衡量智能体对先验的依赖。
MAPF-World 是一个面向多智能体路径规划(MAPF)的自回归动作世界模型,统一了短时局部未来预测与动作生成,使决策不再局限于即时局部观测。它通过预测下一局部观测和邻近智能体的动作意图建模短时局部动态,并引入融合空间感知与智能体语义的 spatio-agent 位置编码。实验显示其在不同地图类型和交互设置下优于现有学习型求解器,具备稳健的零样本泛化能力,在智能体密度升高时仍保持高成功率。
论文提出 ASI-Arch,一个通过研究、实验、分析、更新闭环自主开展神经网络架构研究的系统。在线性注意力任务上,它运行了 1773 次迭代实验,发现 105 个 SOTA 架构,其中最佳架构相对 DeltaNet 的提升接近 Mamba2 所带来增益的三倍。论文还分析了框架各部分在这一高难度研究场景中的贡献,该工作已被 COLM 2026 接收。
AgentFly 是一个智能体强化学习框架,通过统一资源层将沙箱、模型服务和外部 API 等异构环境视为按类型调度的资源,支持按工具获取以复用多轮、异步背压以及 rollout 与全局作用域的生命周期。该框架采用智能体、rollout、上下文和底层资源四层设计,并提供预置工具与环境,在多个任务和模型上完成训练,同时给出首个跨框架吞吐量对比。
Thought-Like-Pro 是一个通过模仿学习提升大语言模型推理能力的学习框架,它让模型从指令中自行生成规则与语句,交由符号化 Prolog 逻辑引擎推导,再将 Prolog 生成的连续推理轨迹翻译为自然语言思维链用于模仿学习。
Bi-FORK 是一个学习高维系统一对多解映射的生成式框架,通过潜在流匹配生成完整轨迹,并用排斥引导采样在单次摊销推理中恢复不同解分支。该框架在屈曲梁、机械超材料和 Allen-Cahn 相分离上验证,覆盖连续、离散和场值分叉,离散化规模最高达 260,000 个点,可恢复多模态解结构,规模较此前方法提升数个数量级。