Flow Policy Gradients 如何用于机器人控制训练
研究提出改进的 flow matching 策略梯度目标,绕过似然计算,使机器人控制策略可训练为更 expressive 的分布。该方法在腿足运动、人形动作跟踪和操作任务上均取得成功,并在两台人形机器人上实现稳健的 sim-to-real 迁移。消融分析显示,策略可从零训练时利用 flow 表示进行探索,微调鲁棒性也优于基线。
研究提出改进的 flow matching 策略梯度目标,绕过似然计算,使机器人控制策略可训练为更 expressive 的分布。该方法在腿足运动、人形动作跟踪和操作任务上均取得成功,并在两台人形机器人上实现稳健的 sim-to-real 迁移。消融分析显示,策略可从零训练时利用 flow 表示进行探索,微调鲁棒性也优于基线。
研究者提出 TTT-Parkour,一个 real-to-sim-to-real 框架,通过在部署前于仿真中对环境特定策略进行快速微调,让 humanoid 机器人在预训练未见过的复杂地形上完成跑酷。
研究者提出 DCD 分解式因果发现框架,将每条时间序列拆分为趋势、季节与残差分量并分别做因果分析:趋势用平稳性检验、季节用核依赖度量、残差用约束式因果发现,再整合为统一的多尺度因果结构。在大量合成基准和真实气候数据上,该框架比 SOTA 基线更准确地恢复真实因果结构,尤其在强非平稳与时间自相关条件下。
研究者在八个指令微调 Transformer 模型上,用相似性强制选择和自由联想两种范式、共享 5000 词词表收集 1750 万+ 试次,构建基于行为的相似度矩阵。表征相似性分析显示,强制选择行为与隐藏状态几何的对齐程度显著高于自由联想;在留出词回归中,行为相似度(尤其强制选择)能预测未见词的隐藏状态相似度,超出词汇基线和跨模型共识。
OpenVTON-Bench 是一个约 10 万对高分辨率图像(最高 1536×1536)的虚拟试穿评估基准,结合 Gemini 密集描述与 DINOv3 K-Means 聚类的 20 个视觉簇分层采样。
研究者提出 Scalable Power Sampling,一种无需训练也无需验证器的算法,通过自回归地锐化基座模型的生成分布来提升 LLM 推理能力。该方法基于自回归幂分布的词元级分解,将全局幂分布近似为词元级缩放低温分布,缩放因子捕捉未来轨迹质量,从而省去迭代 MCMC。
VERGE 是一个神经符号框架,将 LLM 与 SMT 求解器结合,通过迭代精化生成经形式化验证的答案。它把 LLM 输出拆解为原子断言并自动形式化为一阶逻辑,用自动定理证明检查逻辑一致性,并引入多模型共识、语义路由和基于最小修正子集(MCS)的逻辑错误定位三项机制。在 GPT-OSS-120B 上,VERGE 在多个推理基准上收敛时平均性能较单次生成提升 18.7%。
在 591,884 张胸片、5 个数据集上训练的差分隐私胸片分类器显示,胸片监督预训练在 25 种数据集与隐私设置组合中的 24 种排名第一。以 AUC 衡量,其相较自然图像监督预训练的优势在无隐私时为 2.6%,在最严格隐私预算下为 15.3%;从该起点出发,更换领域带来的提升是更换目标的 2.2 至 3.7 倍。
PixSearch 是一种端到端的分割式大型多模态模型(LMM),将区域级视觉锚定与检索增强推理统一起来,在自回归生成中学习何时检索、如何在文本、整图和区域级检索间路由查询,并用联合训练的掩码解码器裁剪目标实体作为视觉查询。
针对统一遥感多模态模型在文本到图像生成中难以忠实执行空间关系的"空间反转诅咒",研究者提出 Uni-RS,通过显式空间布局规划、空间感知查询监督和图像-字幕空间布局变换三项设计,将几何规划与视觉合成解耦。实验显示该方法在多个基准上大幅提升生成的空间忠实度,同时在图像描述、视觉定位和 VQA 等理解任务上保持强劲表现。
研究提出 Retell, Reward, Repeat(RRR)强化学习流水线,通过人类标注的叙事均衡阶段与 LLM-as-judge 奖励信号,教 LLM 生成具备因果叙事结构的文本。
研究构建了一个基于公开足球精彩集锦的新数据集,用于评估多模态模型区分比赛中重要与非重要子事件的能力。对比多个 SOTA 多模态模型后发现,它们无法可靠捕捉上下文重要性,倾向于依赖单一主导模态,且难以综合多源信息。研究强调需要能动态适应多模态异质性的模块化架构及促进跨模态协同的训练方法。
论文提出 NeuroFilter,一种基于激活探测的隐私过滤器,用于 LLM 智能体的推理时隐私防护,计算高效且适用于单轮与多轮对话。该工作首次系统性地跨对话轨迹探测模型内部状态,覆盖多种上下文、攻击风格与多个基座模型,并能应对 mosaic attacks 等挑战性场景。
研究者提出类脑架构 NeuroVLA,将皮层视觉语言规划器与递归小脑调制、有状态脉冲脊髓控制器耦合,兼顾语义规划与高频本体感觉反馈。其小脑模块将平均指令抖动降低 75.6%,碰撞恢复率达 54.8%,而所评估的 VLA 基线为 0.0%。基于 FPGA 神经形态处理器的脊髓控制器推理延迟 2.19 ms、每次推理 0.87 mJ,推理功耗约 0.4 W。
PRISM 是一个零样本、免训练的程序性视频摘要框架,仅选取不到 5% 的视频帧即可保留超过 84% 的语义内容,较基线最高提升 7.5%。它通过轻量视觉过滤和动态生成的过程标签作为语义锚点,筛选有意义的帧-标签组,减少传入下游视觉语言描述阶段的视觉输入。该工作在 YouCook2、ActivityNet Captions 及外科手术视频数据集上验证了语义对齐与准确率表现。
研究提出"深度学习外在论"(DLE),认为运算的计算角色不仅取决于其输入输出函数,还取决于产生输入和接收输出的过程。作者在维度标记的 PreNorm Transformer 中证明,两个单射生产者上下文可保留全部前驱区分却改变固定局部与注意力接收器族是否等价,并推导出梯度下降下协方差相关的几何衰减与 Q/K-softmax 训练下的 $(t^{-1/2})$ 衰减。
研究对比人类与四款指令微调 LLM(GPT-4、Gemma-2-9B、Llama-3.2、Mistral-7B)对 240 句对话在惯用性、讽刺、幽默、情感、成语化和 Gen Z 俚语六项语言特征上的评分,表面判断高度一致,但表征相似性模式存在差异,成语化与 Gen Z 俚语尤为明显。
研究者提出 Hiking in the Wild,一个端到端感知式足式跑酷框架,将深度输入与本体感知直接映射为关节动作,无需外部定位与建图。该框架引入 Terrain Edge Detection 结合 Foot Volume Points 的落脚安全机制,以及 Flat Patch Sampling 策略以缓解奖励黑客问题。
GeoMotionGPT 提出一种几何对齐框架,对动作码本与 LLM 嵌入空间同时施加正交性约束,使两者的关系结构自然对应,而非仅靠 token ID 关联。该方法采用带 Gumbel-Softmax 的 decoder-only 量化器实现可微训练与码本均衡使用,并通过稀疏投影将动作码映射进 LLM 嵌入空间,配合两阶段正交正则化调度。
ECLIPTICA 将 LLM 对齐变为指令驱动、运行时可切换:自然语言对齐指令作为显式行为契约,动态调节立场、拒绝边界与详细程度。其 CITA 方法结合 SFT 与对比偏好优化,在 Llama-3.1-8B 上达到 86.7% 指令对齐效率,超过 DPO(56.1%)、GRPO(36.1%)和 PPO(20.4%)。
HERO 是一个分层证据推理优化框架,通过片段级、token 级和补全级三种粒度分别优化推理、诊断和推理依据忠实度,并采用覆盖诊断准确性、推理质量和思考-答案一致性的异构奖励。在 MIMIC-CXR 和 IU-Xray 上,HERO 超越强监督和强化学习基线,达到 SOTA 临床效能,同时生成更多有推理依据支持、思考-答案一致的报告,显著缓解临床幻觉。
该论文已被作者 Ruikang Zhang 撤回,原因是论文经过大幅重构,新版本已提交为 arXiv:2607.26853。原研究提出基于稀疏自编码器的框架,通过受控语义对立的对比特征检索流程,从稀疏激活空间中提取单义功能特征,并以大五人格特质为案例实现模型行为的双向精准调控,同时提出"功能忠实性"效应。
PhyAVBench 是首个系统评估 T2AV、I2AV、V2A 模型音频物理 grounding 能力的基准,包含 25.5 小时、11,605 段视频的 PhyAV-Sound-11K 数据集,覆盖 6 个音频物理维度和 41 个细粒度测试点。
研究定义并测量了 LLM 评测中的三类噪声:同一问题生成不同答案的预测噪声、采样问题的数据噪声,以及依据总方差定律合并的总噪声。作者提出 all-pairs comparison 方法,对 LLM 所有配对做成对比较,基于数百万条问题级预测测量各噪声分量。结果显示多数评测在所有模型对上呈现高度可预测的总噪声水平,且成对预测噪声通常大于成对数据噪声,通过平均降低预测噪声可显著提升统计功效。
研究提出标签伪装防御(LDD),将情感分类的输出标签从 positive/negative 替换为 good/bad、cat/dog 等替代标签,再映射回情感类别,以测试提示注入攻击下的准确率变化。
研究者将概念瓶颈模型(CBM)扩展至视觉异常检测(VAD)场景,提出双分支架构 Concept-Aware Visual Anomaly Detection,在概念级解释之外兼顾像素级异常定位。
UnSAMv2 无需任何人工标注即可在任意粒度上分割一切,仅用 6K 无标注图像和 0.02% 额外参数便显著增强 SAM-2,覆盖交互式、整图和视频分割任务。
研究者提出 Naga,一种受吠陀数学结构概念启发的深度状态空间模型(SSM)编码方法,通过双向处理正向与时间反转序列并经 Hadamard 逐元素交互,增强对远距离时间步依赖的捕捉能力。在 ETTh1、ETTh2、ETTm1、ETTm2、Weather、Traffic、ILI 等长期时间序列预测基准上,Naga 优于 28 个当前 SOTA 模型,且效率较现有深度 SSM 方法更优。
研究者提出免训练开放词汇分割框架 Earth2Ocean,将陆地视觉语言模型迁移至水下领域,无需任何额外水下训练。该工作同时发布首个大规模细粒度水下分割数据集 AquaOV255(255 类、超 2 万张图像)及首个水下开放词汇分割基准 UOVSBench。
ProDER 将智能电网故障类型分类与故障区域定位建模为持续学习问题,在 IEEE 13 节点测试馈线上设计三个类增量与一个域增量场景,平均准确率达 58.2%,比最强对比方法 DPDMR(51.6%)高 6.6 个百分点,仅比联合训练(61.4%)低 3.2 个百分点。
在 NVIDIA A100 上近 1000 次运行四个视觉基准(MNIST、Fashion-MNIST、CIFAR-10、CIFAR-100)的测试显示,去掉反向传播本身并不省电:FF 能耗是 BP 的 4.1x 至 6.3x,CaFo 为 3.0x 至 7.1x。
研究提出基于互信息的确定性启发式方法 Max(MI(S;t)),通过优先预测信息量丰富的目标 token 来组织训练时的目标顺序,在算术推理、多标签文本分类和文本生成任务中常优于标准 NTP 及 reverse order、TF-IDF、条件概率选择等基线。该方法在 GPT 风格模型及预训练 Llama/Qwen 变体上验证,无需改动模型架构或自回归解码。
研究提出免训练、模型无关的批评-精炼框架 PerFine,通过 LLM 生成器与批评 LLM 基于同一用户画像迭代反馈,并用 knockout 策略保留更优草稿。
一项 SoK 研究系统梳理了 272 项 LLM 提示词安全研究,提出越狱攻击、防御与模型漏洞三套多标签分类体系,并发布开源平台 PromptSecurity 及配套数据集 JailbreakDB(445,752 条越狱提示对、1,094,122 条良性提示)和 PromptSecurity-Eval(166,200 条有害查询、9,200 条良性效用记录)。
一项被 TMLR 接收的研究重新审视了尖锐度与模型性能的关系,提出将极小值几何视为依赖函数的性质,而非泛化能力的直接指标。在单目标优化、合成非线性二分类及现代图像分类任务中,研究发现更尖锐的极小值常在权重衰减、数据增强或 SAM 等正则化下出现,并可与更好的泛化、校准、鲁棒性和函数一致性同时发生。作者据此认为,平坦性不应被当作泛化的通用代理,呼吁以函数为中心重新评估极小值几何。
研究者将主动学习的贝叶斯决策论框架扩展至批量场景,为 EPIG 算法推导出部分批次标签采样方法 ParBaLS。实验表明,ParBaLS EPIG 在基于大型预训练模型嵌入的贝叶斯逻辑回归上,于多种数据集和不同预算下均取得更优性能。代码已公开。
研究者对 GPT-4.1 递归抽取的 1 亿条事实知识库 GPTKB v1.5 做了多维分析,发现其事实知识与既有知识库差异显著,准确率明显低于此前 benchmark 所显示的水平。不一致、歧义和幻觉是主要问题,研究据此指出神经符号 AI 在事实知识抽取、整合与验证上的未来方向。
研究者提出 TS-SA,将随机逼近(SA)引入 Thompson Sampling 框架,每轮仅用新观测奖励执行一次 Langevin 更新,并通过 SA 更新融合噪声提议与当前参数估计。
研究者提出 FAMPE(Frequency-Aware Model Parameter Explorer)归因方法,通过独立扰动输入图像的低频与高频波段,并将扰动偏向模型真正依赖的频段,克服了 AttEXplore 全通滤波扰动无法适配模型的局限。
TENET 是一个在测试驱动开发(TDD)范式下进行仓库级代码生成的智能体框架,包含测试套件选择、检索调试工具集和基于反思的迭代改进流程。在 Claude Sonnet 4 上,TENET 于 RepoCod 和 RepoEval 分别达到 69.08% 和 81.77% Pass@1,较最强基线提升 9.49 和 2.17 个百分点。