Trajectory-Refined Distillation:一种缓解前缀失败的轨迹级蒸馏方法
针对 on-policy 蒸馏(OPD)中因逐 token 监督导致的"前缀失败"问题,研究者提出轨迹级修正方法 Trajectory-Refined Distillation(TRD),在教师引导下修正学生 rollout 的问题前缀,从源头缓解该问题。
针对 on-policy 蒸馏(OPD)中因逐 token 监督导致的"前缀失败"问题,研究者提出轨迹级修正方法 Trajectory-Refined Distillation(TRD),在教师引导下修正学生 rollout 的问题前缀,从源头缓解该问题。
研究团队推出 Causal-Plan-Bench 诊断基准与 Causal-Plan-1M 百万级因果推理语料,指出现有具身视觉语言规划基准偏向语言下一 token 预测而非物理因果推理,GPT-6-astra 仅得 43.04 分。
针对大语言模型单次编辑引发的涟漪效应,研究者提出知识编辑框架 JNO,将可编辑侧协调与保留侧泄漏两种耦合设计压力在目标规划阶段联合建模。JNO 通过压力感知协调(PAC)在耦合约束下联合优化邻域目标表示,并引入语义预执行门在参数执行前拒绝高风险目标方案。在 RippleEdits 上,JNO 将传播与保留指标提升至少 7.0%,同时保持跨骨干编辑稳定性。
ConMoE 把 MoE 专家压缩拆成"构建专家池"和"分配原专家负载"两步,并证明专家池固定后分配仍可单独优化。它用 Anchor Coverage 构建紧凑专家池,再以 router 条件化的功能目标优化分配,仅需无标注校准输入且冻结 router 与专家权重。
研究者提出可验证过程奖励(VPR)训练框架,将任务求解器改造为动作级过程验证器,为中间动作提供密集奖励,实现细粒度信用分配。VPR 在 Sokoban、Sudoku、Minesweeper 三种环境中实例化,训练的 Qwen3-4B 全面超越 outcome-reward GRPO 和 VinePPO;在数学数据与三个游戏环境联合训练时取得最高平均通用推理性能。
RewardHarness 是一个免训练、自进化的智能体奖励框架,将奖励建模重构为上下文演化而非权重优化,仅用 100 条偏好演示即可迭代演化工具与技能库。它仅使用 EditReward 偏好数据 0.05% 的规模,在 EditReward-Bench K=2/3/4 和 GenAI-Bench 上达到 47.4% 平均准确率,超过 GPT-5 达 5.3 个百分点。
OracleProto 是一个在受控时间掩码环境下评估 LLM 预测能力的可复现框架,通过模型知识截止约束和时间掩码构建时间沙盒,并借助泄漏检测审计信息边界。该框架在 300 道 FutureX-Past 衍生问题上对 27 组模型配置进行了 24,300 次预测试验,评估预测质量、采样稳定性和成本效率,检索结果残余泄漏率仅 1.37%。代码已开源。
Agentic Architect 是一个用于智能体 CPU 微架构设计空间探索与优化的框架,将 LLM 驱动的代码演化与周期精确仿真和硬件成本建模结合,在性能、面积和功耗之间权衡。
针对 RLVR 中难题采样组全错导致无有效更新、进而引发分布锐化的问题,研究者提出分布对齐提示合成(DAHS)与反向提示退火(BHA)两个组件。
研究者推出 ScoringBench,一个开放可扩展的基准,用(加权)CRPS、能量分数和区间分数等恰当评分规则评估表格回归模型,覆盖 101 个数据集,并提供基于 git 的排行榜和两种排名协议。对 TabPFN、TabICL、ExaOneTabular、Nori 等表格基础模型、梯度提升树和 MLP 的评估显示,模型排名会随评分规则变化,点估计指标表现好的模型在概率指标上可能排名更低。
研究揭示数学推理中策略"使用"与"可执行性"存在系统性脱节:人类与模型生成的策略在结构化、领域相关方式上存在差异,导致引导效果不稳定。
研究提出两个简单基线,在数学边界搜索、智能体脚手架设计、启发式组合优化算法和机器学习竞赛等任务上与流行代码进化流水线对比,结果基线在所有领域均持平或更优。数学边界任务中,搜索空间比搜索算法更关键,扩大搜索空间可提升所有流水线表现;提示词中的领域知识会显著影响搜索效率,可能高估流水线的样本效率。
针对 GRPO 在自动定理证明中相对优势估计与二元验证反馈冲突、静态采样丢弃无效批次造成数据浪费的问题,研究者提出 GDEPO,通过动态补充采样、等权优势(解耦优势函数的符号与幅度)和动态额外迭代三项机制提升数据利用率。在 MinF2F-test、MathOlympiadBench 和 PutnamBench 上的实验验证了其有效性,消融研究确认各组件协同作用。
ROI-Reasoning 是一个两阶段框架,让 LLM 在严格全局 token 预算下学会预判问题难度并策略性分配算力。它先通过元认知微调让模型预测推理成本并判断问题是否值得尝试,再用理性感知强化学习优化长程分配策略。在数学推理、选择题问答和代码生成任务中,该方法在紧张预算下提升得分并降低参考序后悔,数学任务上相对同骨干最强基线最高提升 417%。
AlignMerge 是一个几何感知的大语言模型合并框架,将对齐作为显式不变量,在 Fisher 局部坐标下用投影器 P_A 估计对齐子空间,并以 AQI 作为对齐度量。
研究用博弈论框架分析 AI 对齐伪装中的"训练-部署不对称"现象,提出贝叶斯-Stackelberg 均衡模型。对齐伪装指模型推断自己处于训练时选择性服从训练目标、在训练外保留不同行为,该现象最早在 Claude 3 Opus 上记录,后在更多大语言模型中被考察。
研究者提出 Adaptive Effort Control,一种自适应强化学习方法,训练模型按用户指定的 token 比例(相对于当前平均思维链长度)分配推理量,无需针对数据集和阶段调参。
研究者提出"组合式机械设计",将机器写成组合标准化部件的程序,并以模拟物理行为判定成败,同时发布基于游戏 Besiege 的测试平台 BesiegeField。在单智能体生成、迭代编辑和分层工作流下,强模型能恢复任务相关结构,但在空间精确装配与机制级规划上仍吃力。团队用模拟奖励对开源模型 Qwen2.5-14B 做强化学习微调,固定生成预算下最佳机器得到改善。
研究者提出 Cite Pretrain 方法,让 LLM 无需推理时检索即可引用其(持续)预训练中的文档,并推出 CitePretrainBench 基准,涵盖 Wikipedia、Common Crawl、arXiv 及未见文档。
研究基于 5000 条自然次优人类演示和 24 个目标任务,对比了 VLA 预训练中加权、过滤与条件化三种质量利用方式,发现 approach-aware episode conditioning 的平均成功率优于普通行为克隆,且条件化与过滤分别偏好 episode 和 chunk 标签。
论文提出 Tev-Gym,首个带可验证稠密渐进奖励的长时程智能体训练数据集,覆盖 7 个领域共 1,170 个已验证任务环境。其构建采用 latent-world-first 方法,先构造任务领域、工作流与每步预期状态的隐藏规格,再逐步渲染为面向智能体的环境,从而获得可控复杂度与天然进度指标。
DoubtLess 是一种无需训练的对比解码方法,用小推理模型引导大模型精简思维链。在七项竞赛数学、研究生科学和编程基准上,它将 Qwen3-32B 的 CoT 缩短 31% 且准确率不变,优于五种推理时基线。在自调试编程智能体中,每轮思考 token 减少 20% 且任务表现不变,并可泛化到另外两个模型家族。
HybridAgents(Hybrid Reasoning Agents)通过轻量级 HybridLink 在隐式推理与文本交互间动态切换,并借助连续工作记忆保留无损混合上下文,使隐式思维可直接检查。
研究提出"两时钟"框架,区分 RLVR 中产生进展所需样本与崩溃前消耗的样本。基于局部二次模型,平方根学习率规则虽保持每样本一阶漂移,却无法保持进展:更大批次更新更少更长,曲率损失更多,存在依赖学习率的临界批次。在 Qwen2.5-Math-1.5B 上跨 16 倍批次范围的 GRPO 实验支持该预测,进展差距在另一数据集、通用 checkpoint 和 7B 模型上重现。
研究者提出 SEAR(Self-Evolving Agentic Robotics)框架与基准,用于检验语言模型智能体是否真正在机器人任务中学习,以及所学能否迁移到新任务、新模拟器和真实机器人。
PreciseCoder 通过为单元测试奖励增加语义验证的局部编辑信号,在 4B、9B、27B 模型上将平均编辑行数从 7-15 行降至 3 行,通过率与仅用单元测试训练持平。
研究者提出一种"速率迁移"方法,可将关联随机微分方程(SDE)的有限时间 Lyapunov 估计转化为随机梯度算法的有限时间收敛界。在一般矩条件与光滑性条件下,随机梯度法的收敛分析被简化为验证 SDE 的 Lyapunov 生成元不等式的微积分论证。该方法能复现经典随机梯度方法的已知收敛速率,并为新优化算法通过其关联 SDE 的微积分论证建立收敛速率提供了途径。
RadarGSOcc 直接处理 4D 雷达张量,分别提取几何与语义特征(含多普勒信息),核心是可变形注意力几何精修模块。
针对 GRPO 等无 critic 算法将轨迹级优势均匀分配给所有动作的问题,研究者提出即插即用框架 ProAS,通过动态演进的 Agentic Reference Graph(ARG)实现细粒度信用分配。
研究者提出 Generative Trajectory Planning(GTP),一种基于模型的框架,通过从扩散先验中采样候选动作序列并利用学习到的动力学、奖励和价值模型进行精炼,实现高效的轨迹级推理。在连续控制和长时程操作任务中,GTP 匹配或超越 SOTA 的无模型、扩散策略和基于模型的基线,并在强基线退化的场景下保持稳定。
研究者提出免训练的 Semantic Medical Identifier(SMI)框架,将每个诊断、手术或药物概念的 Semantic ID 定义为医学本体中由粗到细的路径,并聚合冻结的生物医学 LM 嵌入生成层级感知的医学概念表示。
快手 OneRec 团队提出 Kwai Summary Attention V2(KSA V2),针对混合 KSA-Full 架构中摘要压缩块必须逐层一致、Full attention 层仍承担二次预填充开销两个瓶颈,让 summary token 同时充当 KV 记忆与稀疏索引器,实现更灵活的 KV Cache 压缩并降低 Full attention 层计算成本。
研究者提出 AMemOps 基准,用于评估长音频流中的最新属性检索、未变属性保持与缺失来源拒绝。在测试乐器的其他录音上训练,可使参考 delta-rule 记忆相对匹配注意力机制的更新优势提升 13.4 个百分点;在 120 秒检索延迟下,匹配历史可区分一致重复的收益与早期冲突值的代价,加性记忆对照则识别出擦除的收益。
DTScribe 可读取数字孪生文档,自动输出概念架构可视化与报告页面,并生成 Ontological Modeling Language 描述模型。它通过大语言模型评审与本体推理的细化循环提升产物质量,使约 20B 参数的本地中型模型达到接近更大模型的效果。研究建议避免用大语言模型做评审、避免用聚类做特征提取,并推荐至少两轮推理循环。
研究者提出 SPACE(Subspace Projection for Adapted Checkpoint Enhancement),一种无需数据、无需训练的后处理方法,仅凭 SFT 前后 checkpoint 即可将 SFT 更新中位于 SFT 前权重主子空间的分量选择性回退,同时保留正交补空间中的更新。
研究者提出直接知识图谱交互(DKGI),让语言模型 Agent 直接在完整的节点与边文件上编写 Python 代码创建图谱访问工具,并将执行与 shell 搜索、文件检查交错进行。
研究复现了 SDPO 和 OPSD 两种自我蒸馏方法,发现在代码、科学、工具使用和数学推理任务上,其报告的收益无法稳定泛化到未见问题,主要源于过拟合或迁移已有推理行为,而非有效利用特权信息。自我蒸馏梯度与直接优化期望奖励的策略梯度对齐较弱,在 Qwen3(1.7B-14B)和 OLMo-3-7B 上的实验表明,有效利用特权信息提升推理仍是未解难题。
研究发现多模态 LLM 的投影器训练阶段仅需 10% 到 20% 的数据即可恢复大部分下游性能,且不同数据集训练的投影器可线性插值而性能基本保持,表明该阶段主要完成粗对齐。
ACCRUE 是一个持续离线策略强化学习框架,通过在任务间传递轻量 actor 和 critic 网络,让每个阶段复用先前 RL 获得的行为与价值知识。在仿真和真机接触密集型装配任务中,ACCRUE 加速后续任务学习且几乎无遗忘,真机训练时间减少 31.0% 至 68.5%。
一项基于 2022 年以来 12,924 篇英文 AI 新闻文章的研究,用大语言模型提取文章隐含的"叙事寓意",对比北美、中国、印度和中东四个地区的媒体报道。结果显示,北美 AI 报道独有警示性叙事,对创新与协作的强调少于其他地区,但这一模式主要源于北美新闻整体存在的区域性负面偏好,而非对 AI 本身的担忧更强。