自我对弈加少量人类数据,让驾驶策略学会类人自主性
一项被 CoRL 2026 接收的研究提出,在最小安全到达奖励之上把人类演示当作正则化目标,仅用 30 分钟人类演示数据(比同类模仿学习方法少 2500 倍)即可让自我对弈训练出的驾驶策略与人类轨迹协调一致。该方法在单块消费级 GPU 上 15 小时完成训练,缓解了纯自我对弈策略行为约定与人不兼容的问题。
一项被 CoRL 2026 接收的研究提出,在最小安全到达奖励之上把人类演示当作正则化目标,仅用 30 分钟人类演示数据(比同类模仿学习方法少 2500 倍)即可让自我对弈训练出的驾驶策略与人类轨迹协调一致。该方法在单块消费级 GPU 上 15 小时完成训练,缓解了纯自我对弈策略行为约定与人不兼容的问题。
研究者提出数据感知的模型合并框架 ESD 与 ESM,通过代理数据识别每个任务更新中能量集中的主导方向(即 essential subspace),并按输出偏移特征值加权、跨任务正交化以减少干扰。ESM++ 进一步动态整合低秩任务专属残差专家实现自适应知识聚合。多任务集与多模型规模实验显示,ESM 与 ESM++ 能有效聚合任务知识并缓解任务间干扰,代码已开源。
研究提出一套以数据为中心的长上下文强化学习配方,围绕检索、多证据综合与推理三类任务构建八个数据集、共约 14K 样本,仅搭配基于结果的最小化 GRPO 设置。在 Qwen3-4B/8B/30B-A3B 三个模型上,于七个长上下文 benchmark 平均提升 +7.2/+3.2/+6.4 分,超过此前的 RL 训练集。
研究者提出 ReGrad(Retrievable Gradients),将梯度视为可检索的知识单元:离线预计算文档专属梯度并存入索引化的 Gradient Bank,推理时仅检索与查询相关的梯度做临时权重适配,从而避免持续后训练中的权重漂移。
研究用 BDD100K 道路场景的受控损坏实验,检验 CLIP 图像-文本相似度导出的危险分数变化能否由嵌入漂移预测。结果显示两者关系高度依赖损坏类型:部分损坏族中表征漂移与决策漂移强耦合,另一些则在嵌入变化不大时仍引发危险决策不稳定。多数损坏族通过漏检抑制危险识别,遮挡则触发误报,表明鲁棒性基准应纳入任务对齐的稳定性指标。
FiberTune 是一种训练时目标,通过在线动作探针从中间视觉 token 表示中筛选动作预测方向,并用冻结视觉教师做居中方向对齐与有效秩正则,保留教师结构化视觉残差且不增加推理开销。
DataEvolver 是一个通过多级自进化自动构建数据处理流水线的数据准备系统,在算子层面扩展算子库并优化逻辑计划以解决依赖冲突,在流水线层面将计划实例化为代码并利用试运行输出反馈迭代优化。在七个基准上,其数据质量显著提升,下游 LLM 性能相比原始数据训练平均提升约 10 分。
研究用 GRPO 结合 RaR-Medicine 的评分标准监督,提出方差感知奖励框架,从准则级结果构建连续奖励以保留部分得分、降低奖励稀疏性。基于低秩适配器与量化权重的 Qwen3-14B,在留出的心脏相关 HealthBench 子集上最佳变体将准确率从 0.362 提升至 0.502、F1 从 0.532 提升至 0.668,接近 GPT-OSS-120B。
研究者提出 EgoProactive 智能眼镜数据集与跨域基准 Pro²Bench,用于评测主动式多模态助手的干预时机、流程完成度和响应质量。零样本下没有前沿或开源权重模型能在首次出错前完成超过 26% 的流程干预。其 PWR(Plan, Watch, Recover)架构在上下文中维护显式计划状态并在每次干预后修订,在三个开源权重骨干上把平均流程完成率从 20% 提升到 27%。
研究对比三种自适应分块方法与调优后的固定分块基线,在长时程预测基准上准确率差异普遍很小,自适应分块并无一致优势,固定分块通常训练更快且推理时无需自适应路由。作者进而提出预算化分块分配的理论框架,给出非均匀分配在相同预算下优于均匀分配的精确判据,并指出即使区域权重排序正确,过度重新分配分辨率也可能增加损失。
研究用 snnTorch 的九类神经元与三种脉冲编码组合出 27 种 SNN 配置,在四个入侵检测基准上评测,并采用仅训练集变换、种子无关划分和按捕获/场景分离来避免信息泄漏。
Real2SAM2Real 提出用生成式 3D 缓存为视频扩散模型补充上下文,从单张参考图像估计出拓扑完整、包含未观测表面的物体与人体网格,再以指定相机轨迹和前景运动渲染的法线图引导视频合成。该方法仅用约 2,000 段单目视频训练,无需显式 3D 资产或多轨迹配对录制,支持相机与多实例运动解耦控制,在剧烈视角变化等场景下时空一致性和控制精度优于所评估的 SOTA 方法。
研究者提出 idSCD,一种基于语义相关描述符(SCD)的白盒语义指纹方法,通过模型学到的语义相关结构判断某数据集是否属于其训练混合数据。在自然语言推理、情感分类和医学文本分类三组实验中,基于该分数的分类器平均表现最优且标准差最低,超过黑盒基线 RMIA、Attack-P、LiRA 及白盒 SIF 基线,数据集语义特征明显时 ROC-AUC 相对提升最高超 60%。
针对稀疏结构化强化学习任务,研究提出诊断驱动的迭代改进方法,用训练诊断和失败模式分类指导奖励函数修订,将 DoorKey-8x8 成功率从无塑形的 2.3% 提升至 97.6%,KeyCorridor 从一次生成的 31.2% 提升至 86.7%。
研究者提出噪声感知自适应控制器 GAC,通过最小化混合随机梯度的 MSE 上界推导出闭式混合权重 mu*,在线估计梯度噪声方差与 SFT-RL 分歧。
CTI2TTP 通过"先发散后收敛"设计从网络威胁情报报告中提取 MITRE ATT&CK 技术,先将报告分解为原子行为并定位证据窗口,再广泛生成候选技术并仅保留同时被证据和 MITRE 定义支持的候选。
研究用 44 个仅依赖标准库的单文件 Python 模块(zerodep)对比参考库,发现多数场景下 stdlib 实现性能相当(2x 以内),部分因架构开销反而快 5x-115x,但图像处理、二进制序列化、底层加密等依赖 C 扩展的计算存在明显性能悬崖。
研究用 Orb-v3 力场发现,150 个晶体子样本中 47% 的弛豫空间群依赖输入取向,全部 399 个晶体中有一半在弛豫后空间群降低。作者提出基于有限对称群卷积的张量代数 ⋆_G,将平均平方误差分解为选择规则违反、对称相关输入不一致和残差三部分,并给出无需参考的误差下界。对力预测施加投影后,空间群变化率降至最多 2%,且无需重新训练模型。
研究者提出 MUCS 方法,通过有界镜像梯度上升微调第二个模型,并用一致噪声样本测量其相对原模型的归一化偏斜,实现扩散模型的训练数据归因。该方法在三个数据集上大幅超越现有方法,并分析了影响实例重叠与 TDA 集成等新问题,已被 NeurIPS26 接收。
针对 LLM 在线策略蒸馏(OPD)中异步执行偏离理想 on-policy 目标的问题,研究者提出 f-OPD 框架,将目标偏差分解为 rollout drift 与 supervision drift,并引入样本级新鲜度分数衡量缓冲样本可靠性,据此自适应调节陈旧样本影响、约束策略漂移。
研究者提出 MoHL(mixture of hypergraph Laplacians),可直接从不完整的时空数据中学习分组关系结构,通过从观测到的共变中挖掘重叠传感器组、为每种交互阶构建拉普拉斯分量,并借助模拟缺失模式的留出集学习混合权重。在三个交通网络上的实验显示,长时段数据缺失下高阶分组收益最大,MoHL 在整日缺失场景下取得所评估基线中最低误差,且学习参数量比深度插补模型少数个数量级。
针对循环语言模型(LoopLM)在训练后量化(PTQ)中因角色分布偏移、循环状态复用和递归误差累积导致的性能退化,研究者提出循环感知量化框架 LoopQ,在保留共享量化主干的同时引入轻量适配。在 W4A4 量化下,LoopQ 在四个主干上实现五任务平均准确率 67.8% 的平均相对提升,八个主干-数据集组合的平均困惑度相对下降保守估计为 75.2%。
arXiv 论文调查了15种针对恶意微调的防御方法,发现它们都建立在有限攻击者模型之上,权重发布后缺乏持续约束。作者在4个开源权重模型上对6种代表性防御继续执行仅有害数据的微调攻击3个epoch,72次受防御训练中模型最终危害性均高于发布时,Llama-3.1 在最高学习率下受防御模型最终危害性接近无防御模型。
研究提出"奖励密度原则":稀疏序列级奖励适合让强模型探索发现更优行为,稠密 token 级教师监督则适合将行为压缩进小部署模型,稀缺标注数据应先用在上游最强教师上。
研究者提出一种多模态潜在扩散模型,通过交叉注意力在共享潜在空间内联合合成体积 MRI 与表格临床数据,先用变分自编码器融合两种模态,再以独立解码器分别重建。该框架在德国国家队列(NAKO)超 1 万名参与者的 MRI 与年龄、性别、身体测量、族裔等表格特征上评估,生成影像具备解剖合理性与身体成分一致性,表格模态在标准指标上优于 CTGAN、与 TVAE 相当。
针对 GRPO 等无 critic 算法在 RLVR 中时间信用分配过于粗粒度的问题,研究者提出选择性后继资格迹(S-trace),通过后继重要性重加权恢复 PPO 裁剪下的下游信用信号,并借助基于熵的 token 选择将其传播到选定的历史 token。
针对组合式扩散规划在局部计划多模态时出现的模式平均问题,研究者提出免训练引导方法 RCD,用预训练扩散模型的自重建误差作为组合计划对数密度的代理,并结合重叠一致性项约束分段边界。在 OGBench 的移动、物体操作和像素观测等长时程任务上,RCD 持续优于现有方法,该工作已被 NeurIPS 2026 接收。
研究评估了 Biaffine LSTM、Stack-Pointer Network、AfroXLMR-large 和 RemBERT 四种依存句法分析器在十二种类型多样的语言上的表现,重点关注低资源非洲语言。
研究团队提出 SciSense 框架,将 LLM 科研智能体的构思阶段拆解为八个认知阶段,并构建了 12 万条引用条件研究轨迹数据集 SciSense-Traj,涵盖 Hindsight 与 Foresight 两种模式,蒸馏出 3B 至 70B 参数的 SciSense-LM 系列模型。
针对现有反蒸馏防御会留下句法不连贯、重复链等可检测痕迹的问题,研究者将反蒸馏建模为带可检测性约束的 max-min 博弈,提出 Thought Anchor RemovalS(TARS),通过移除语义冗余的思维锚点来干扰下游蒸馏,并给出可检测性的形式化保证。
研究在 DriveLM-nuScenes 上对比两种跨阶段上下文传递机制:显式变体在 4B 模型 Mini-InternVL2-4B-DA-DriveLM 上免训练使用三种提示策略。
研究提出 Stealth Pretraining Seeding(SPS)威胁模型,攻击者通过隐蔽网站散布少量投毒内容,使其被 Common Crawl 等来源吸收进未来训练语料。
TurboEvolve 是一个多岛进化框架,在相同 API 成本预算下提升 LLM 驱动程序进化的样本效率与稳定性。它引入 Verbalized Sampling,在单次 LLM 调用中生成 K 个候选,并用在线调度器自适应调整 K;同时通过 island-aware initialization 对种子程序聚类并做受控跨簇混合。
针对 GRPO 在多跳搜索中惩罚正确中间步骤、训练不稳定等问题,研究者提出优势校准方法 CalibAdv,利用中间步骤正确性在细粒度上缩减过大的负优势,并重新平衡正负优势以提升训练稳定性。该方法采用轻量设计,仅从标准 rollout 信号校准优势,在三个模型和七个基准上同时提升了性能与训练稳定性,代码已开源,论文被 EMNLP 2026 Findings 接收。
研究者提出一套合成数据生成流程,用于长上下文音频推理的训练与评测,并以首诊医患对话生成 SOAP 病历为任务实例化。该流程完全基于开放权重模型,包含人设驱动对话生成、带重叠/停顿建模与房间声学及声音事件的多说话人音频合成、LLM 生成参考 SOAP 病历三个阶段,已发布 8,800 段合成对话、1.3k 小时音频及参考病历。
PROGRS 框架将过程奖励模型(PRM)的分数作为结果分组内的相对偏好而非绝对目标,通过结果条件化中心化把错误轨迹的 PRM 分数在每个 prompt 组内平移为零均值,并结合冻结的分位数回归 PRM 与多尺度连贯性评估器,直接集成进 GRPO。
TopoPilot 是一个用于自动化复杂科学可视化工作流的智能体框架,采用编排器与验证器双智能体架构,并加入确定性护栏。在覆盖 100 个提示词的 1000 次模拟多轮对话中,其成功率超过 95%,而无全面护栏与验证的基线不足 50%。在相似提示下,TopoPilot 在准确率、完成时间和 token 用量上均优于 Claude Code 和 Codex。
研究提出基于监督对比度量学习(CML)的点云分割聚类方法,通过学习隐空间嵌入使同物体点聚集、无关点分离,再用密度读出重建簇。在模拟高粒度量能器数据上,与object condensation(OC)在相同图神经网络骨干和潜维度下对比,CML对电磁和强子簇产生更稳定可分的嵌入几何,在高多重数场景下重建效率和纯度更高,能量分辨率更优,混合粒子环境中OC性能显著退化。
针对 GRPO 等 on-policy 算法丢弃历史 rollout 导致样本效率低、策略过度集中于单一解的问题,研究者提出动态 Jensen-Shannon 回放(DyJR)正则化框架,用近期轨迹构建动态参考分布。
研究者提出 Event Logic Tree(ELT)知识表示框架,将自然语言事件描述转化为信号基元上的结构化时序逻辑,并据此构建神经符号 VLM 智能体框架 SELA,迭代地从信号可视化中定位基元并按 ELT 约束组合,同时输出事件区间与树状解释。