Flow Policy Gradients 如何用于机器人控制训练
研究提出改进的 flow matching 策略梯度目标,绕过似然计算,使机器人控制策略可训练为更 expressive 的分布。该方法在腿足运动、人形动作跟踪和操作任务上均取得成功,并在两台人形机器人上实现稳健的 sim-to-real 迁移。消融分析显示,策略可从零训练时利用 flow 表示进行探索,微调鲁棒性也优于基线。
研究提出改进的 flow matching 策略梯度目标,绕过似然计算,使机器人控制策略可训练为更 expressive 的分布。该方法在腿足运动、人形动作跟踪和操作任务上均取得成功,并在两台人形机器人上实现稳健的 sim-to-real 迁移。消融分析显示,策略可从零训练时利用 flow 表示进行探索,微调鲁棒性也优于基线。
研究者在八个指令微调 Transformer 模型上,用相似性强制选择和自由联想两种范式、共享 5000 词词表收集 1750 万+ 试次,构建基于行为的相似度矩阵。表征相似性分析显示,强制选择行为与隐藏状态几何的对齐程度显著高于自由联想;在留出词回归中,行为相似度(尤其强制选择)能预测未见词的隐藏状态相似度,超出词汇基线和跨模型共识。
研究者提出 Scalable Power Sampling,一种无需训练也无需验证器的算法,通过自回归地锐化基座模型的生成分布来提升 LLM 推理能力。该方法基于自回归幂分布的词元级分解,将全局幂分布近似为词元级缩放低温分布,缩放因子捕捉未来轨迹质量,从而省去迭代 MCMC。
VERGE 是一个神经符号框架,将 LLM 与 SMT 求解器结合,通过迭代精化生成经形式化验证的答案。它把 LLM 输出拆解为原子断言并自动形式化为一阶逻辑,用自动定理证明检查逻辑一致性,并引入多模型共识、语义路由和基于最小修正子集(MCS)的逻辑错误定位三项机制。在 GPT-OSS-120B 上,VERGE 在多个推理基准上收敛时平均性能较单次生成提升 18.7%。
研究提出 Retell, Reward, Repeat(RRR)强化学习流水线,通过人类标注的叙事均衡阶段与 LLM-as-judge 奖励信号,教 LLM 生成具备因果叙事结构的文本。
研究者提出类脑架构 NeuroVLA,将皮层视觉语言规划器与递归小脑调制、有状态脉冲脊髓控制器耦合,兼顾语义规划与高频本体感觉反馈。其小脑模块将平均指令抖动降低 75.6%,碰撞恢复率达 54.8%,而所评估的 VLA 基线为 0.0%。基于 FPGA 神经形态处理器的脊髓控制器推理延迟 2.19 ms、每次推理 0.87 mJ,推理功耗约 0.4 W。
研究提出"深度学习外在论"(DLE),认为运算的计算角色不仅取决于其输入输出函数,还取决于产生输入和接收输出的过程。作者在维度标记的 PreNorm Transformer 中证明,两个单射生产者上下文可保留全部前驱区分却改变固定局部与注意力接收器族是否等价,并推导出梯度下降下协方差相关的几何衰减与 Q/K-softmax 训练下的 $(t^{-1/2})$ 衰减。
研究对比人类与四款指令微调 LLM(GPT-4、Gemma-2-9B、Llama-3.2、Mistral-7B)对 240 句对话在惯用性、讽刺、幽默、情感、成语化和 Gen Z 俚语六项语言特征上的评分,表面判断高度一致,但表征相似性模式存在差异,成语化与 Gen Z 俚语尤为明显。
该论文已被作者 Ruikang Zhang 撤回,原因是论文经过大幅重构,新版本已提交为 arXiv:2607.26853。原研究提出基于稀疏自编码器的框架,通过受控语义对立的对比特征检索流程,从稀疏激活空间中提取单义功能特征,并以大五人格特质为案例实现模型行为的双向精准调控,同时提出"功能忠实性"效应。
研究提出免训练、模型无关的批评-精炼框架 PerFine,通过 LLM 生成器与批评 LLM 基于同一用户画像迭代反馈,并用 knockout 策略保留更优草稿。
研究者提出 TS-SA,将随机逼近(SA)引入 Thompson Sampling 框架,每轮仅用新观测奖励执行一次 Langevin 更新,并通过 SA 更新融合噪声提议与当前参数估计。
研究者提出 Role-Conditioned Context Routing(RCR),一种执行时上下文路由层,按角色、任务阶段元数据和 token 预算,从结构化共享记忆中为每个智能体选择性分配相关记忆条目。
研究者提出课程引导的自适应框架 CurAd,通过逐步施加梯度对抗观测扰动并对齐各课程阶段的 TD 误差分布,让鲁棒策略泛化到未见攻击。在动态 3D 障碍的无人机冲突消解环境中,固定 GNSS 欺骗攻击下 CurAd 任务成功率达约 99-100%,最优鲁棒基线仅 20-24%;动态障碍诱导欺骗下其回合奖励最高,任务完成步数中位数最多减少 22%。
研究者提出 RCStat 统计框架,用随机变量 Relative Contextualization(RC)量化注意力机制中一组 token 对另一组 token 的影响,无需重训练即可在推理时估计。
一篇综述梳理了生成式 AI 在自动驾驶中的应用,涵盖静态地图创建、动态场景生成、轨迹预测与车辆运动规划等任务,并对比了 VAE、GAN、生成式 Transformer 与扩散模型的能力与局限。文章还讨论了传统方法与生成方法结合的混合方案、相关数据集,以及安全、可解释性、实时性、训练与基准测试五大核心挑战,并给出图像生成、动态场景生成与规划方面的建议。
研究者提出 GATTACA,一个基于深度强化学习的可扩展计算框架,用于控制布尔网络模型以模拟细胞重编程。该框架将图神经网络与图卷积操作融入 DRL 智能体的动作价值函数近似器,并改进了伪吸引子状态的识别方法。在多个大规模真实生物网络上的实验验证了其可扩展性与有效性。
研究者提出一种贝叶斯拍卖模型,将 ML 预测中看似合理却与买家真实支付意愿无关的"幻觉"与普通测量噪声区分开来。在信息性预测完全准确的基准下,该模型刻画了公开披露预测时的收益最大化拍卖机制,并说明单一买家场景下卖家何时应采纳预测、何时应忽略或设置价格上限以对冲预测失败。数值实验显示,据此设计的简单拍卖可达到接近最优的收益。
ReMAP 提出一种无损残差神经提升方法,用于任意阶马尔可夫随机场中的可扩展 MAP 推理,通过将 GNN 输出加到自由逐节点 logits 上,保持原问题的下确界、临界点、局部极值与 Hessian 惯性不变。
研究发现现有知识图谱复杂查询问答(CQA)基准存在缺陷:部分查询类型中高达 98% 的查询可归约为链接预测等更简单的问题,导致对领域进展的认知被扭曲。SOTA CQA 模型在无法归约的查询上性能显著下降。作者据此提出一组更具挑战性的新基准,要求模型进行多跳推理,系统实验显示当前 CQA 方法远未达标。
针对电动汽车路径问题(EVRP)中由道路拓扑导致的非对称能耗成本,研究者提出图边注意力网络 GREAT,完全在边空间而非节点坐标上运算,并与端到端强化学习框架结合,联合优化路径与充电决策。
针对图神经网络在大规模图推理任务中时间和内存开销巨大的问题,研究者提出一种三阶段多任务知识蒸馏框架,通过 Positional Encoding 捕捉位置信息、引入 Neural Heat Kernels 并匹配隐藏层输出,将图知识蒸馏到学生 MLP。
研究者提出 Guidance-TTT,将测试时训练拆分为两个角色:一个紧凑的引导模型在测试时被训练,负责提出高层策略改动,冻结的执行模型则将其实现为可执行方案,每步只更新引导模型。该方法无需联网,在 Polyomino Packing、AHC058、Lasso 和 TriMul 四个领域均优于此前工作报告的最佳方案,并与公开在线排行榜的 SOTA 结果保持竞争力。代码已开源。
研究者提出 PyINE 框架,用带插桩的 Python 程序作为可验证执行基底,实现可扩展的引导与监督。首个版本 PyINE-v1 基于近 100 万条确定性执行轨迹和超 50 万个匹配的 LLM 生成代码变体构建,并训练出一个捷径跟随模型。评估显示,数据集层面的汇总性能会掩盖关键失败模式的覆盖不足:低成本学习型监督器常漏掉罕见的捷径错误,而更强的模型检查更均衡但成本显著更高。
研究者提出 CPW-Drive,一个闭环 RAG 框架,将中国儒家思想提炼的价值原则与场景案例结合,为自动驾驶决策提供可检索的价值引导,并提出物理感知空间相似度检索(PSSR)方法。
研究发现,模型学会一个事实并不等于学会如何检索它:在请求形式训练阶段见过同一事实五种表述的模型,与只见过陈述句的模型,在后续相同的新事实训练后,从陈述句检索新事实的表现几乎相同,但在其他请求形式上差异显著。作者将答案前的隐藏状态称为上下文状态,五种形式训练的模型对同一事实的不同请求形式会产生更相似的上下文状态;在检索时改变该状态可启用或阻止已学事实的检索,且该效应可跨事实与事实关系迁移。
判断模型 Jev 在单次调用中直接输出各选项概率,研究发现其能力边界清晰:在认知反射测试中答对 99% 的反直觉题目,但在需要模拟输入之外信息的任务中失败,如在 ALFWorld 中会把未洗的刀直接放进抽屉。若由代码提供预测或模拟(如 ALFWorld 的前瞻、机器人控制中的物理模拟),Jev 可凭借通用评估能力成为专家级控制器。
针对哈希检索中汉明距离与注意力相关性不匹配的问题,研究者提出分层哈希检索(HHR),通过 Geometry-Aware Key Routing(GKR)和 Learned Hash Projection(LHP)由粗到细提升检索精度。
针对 RLVR 训练中视觉主张缺乏图像支撑的问题,研究者提出持久性感知信用门控(PACG),对异常持久的视觉主张衰减正向信用,无需标注且不增加推理成本。在 Qwen2.5-VL-7B 上,PACG 将九项基准三种子均值从 58.1% 提升至 59.9%(DAPO)、从 59.8% 提升至 60.9%(VPPO),并提升 HallusionBench 准确率。
研究者提出 BMA-GAI 算法,将 LLM 答案验证建模为全局预算下的多属性优质臂识别问题,通过成本感知的候选选择与属性自适应采样,在每次观测中同时完成分配引导与随时有效认证,无需单独确认阶段。该算法获得渐近覆盖保证,并推导出匹配的信息论逆定理,证明其在临界预算之外具有一阶最优性。合成基准与 LLM 答案验证任务实验显示,BMA-GAI 比对比方法更高效地分配验证预算,认证出更多高质量候选答案。
研究团队提出 Spatial-Interactor 框架,通过交互让 VLM 建模物理世界状态转移,并构建了 LSI-108K 数据集,覆盖 L1 被动世界状态转移、L2 主动自身状态转移、L3 长程交互轨迹三级课程。
研究提出 Latent Trajectory Dynamics(LTD)与 Action Representation Probe(ARP)两种方法,从模型内部表征预测多轮智能体任务能否成功。在 Bash、SQL、Python 三个交互基准和 Qwen14B、Qwen7B、DeepSeek6.7B 三个模型上,两方法均优于表层生成与序列校准基线,且无需改动提示词或多轮采样,实现零开销可靠性监控。
研究提出 RetailAgent 框架,让 LLM 观察匿名化日内股价历史与允许状态,在收益揭晓前反复选择做多或空仓。在剔除整体做多比例后,做多与空仓区间的收益对比显示,跨模态、周期、状态与模型族均存在持续的负向择时。打乱已保存的动作序列会显著削弱该效应,说明动作与后续收益的对齐驱动了负分;将自撰记忆注入决策会进一步加剧策略持续性。
研究团队发布 PhysElite,一个面向奥赛级物理推理的大规模双语多模态基准,包含 11,586 道奥赛级题目,每题配有图示、中英双语分步解答推导和最终答案。对 18 个开源与闭源 MLLM 的评测显示,最强模型答案准确率仅 33.7%,研究还通过步骤级过程评估诊断模型推理链中的失败环节。数据集已公开。
Parason 通过无上下文语法将 LLM 的串行推理轨迹转为结构化并行轨迹,并用 PA-GRPO 训练模型同时学习子任务并行与试错并行。分析显示试错并行占 DeepSeek-V4 在 HLE 推理步骤中可并行计算的 65.5%,且在难题上占比更高。在 AIME24 和 AIME25 上,Parason 平均加速约 1.7 倍并保持有竞争力的准确率。
针对智能体具身框架直接执行动作、不模拟替代动作序列后果的问题,研究者提出 ParallelWorld——一种自适应视界的测试时扩展框架,通过并行模拟与评估多条候选轨迹,由验证器评估中间状态转移、动态剪枝并引导扩展,再选择轨迹仅执行首个动作并随新观测重新规划。在 ESI-Bench 与 LIBERO-Pro 上,该方法分别提升了主动空间推理与语言条件操作的表现。
Emotion2Skill 框架提取 LLM 内部情绪向量,并将其用于技能选择与技能进化,通过追踪情绪表征变化识别有问题的技能调用以做针对性改进。在两个骨干模型上它优于七个基线,Qwen3-8B 上 WebShop 成功率超 Trace2Skill 3.1 个百分点、ALFWorld 平均成功率超 5.7 个百分点。相同情绪向量无需重新提取即可迁移到 MATH 和 MBPP,代码已开源。
针对视觉-文本压缩导致智能体能力下降的问题,研究者提出两阶段跨模态智能体策略自蒸馏框架 CAPS,用同一模型更强的文本历史策略监督其视觉历史策略。在 SearchQA 上,CAPS 以 3B 和 7B 骨干分别比 AgentOCR 提升 5.0 和 3.4 个百分点;在完整历史 ALFWorld 上分别提升 15.6 和 14.5 个百分点。
REALGUARD 是一个通过潜在推理将安全推理与理由生成解耦的 LLM 安全防护框架,在训练中用连续潜在推理逐步替代显式理由,并单独训练轻量审计解码器按需生成解释。
一篇综述梳理了 LLM 辅助偏微分方程(PDE)研究在发现、求解与优化三个阶段的进展,考察 LLM 如何结合物理知识、数值方法与计算反馈来构建模型、实现求解流程并指导设计与控制。文章还回顾了评估科学有效性、计算性能与工作流可靠性的现有基准与评测实践,并提出面向特定 PDE 问题的数学与物理推理、通过领域专用与多模态后训练构建可迁移专业知识、以及将主动实验设计与科学验证相结合三个挑战方向。
LaCache 是一种面向 LLM 服务的语义缓存重设计,将完整性校验从查询转移到响应,额外检查查询前 k 个推测解码 token 的缓存命中,从而可证明地防御缓存碰撞攻击。分析证明其能以高概率检测产生语义不同响应的攻击,跨多种 LLM 和基准的评测显示攻击命中率降至接近零,同时保留超过 90% 的正常缓存效用。该工作入选 NeurIPS 2026。