跳到正文
10月9日周五
  1. arXiv cs.AI28

    HIL-UMI:将 VLA 模型人在回路后训练带入通用操作接口

    HIL-UMI 是一个基于通用操作接口(UMI)的免机器人人在回路 VLA 后训练框架,可在手持演示时查询当前策略而不执行其预测。它用 Energy Score 对比人类动作轨迹与策略推理,在差异指示分布外状态时触发数据采集,并通过在线优势预测筛选关键片段来改进基于进度的优势估计器。

  2. arXiv cs.AI26

    CoToGrasp:基于接触拓扑条件的灵巧抓取合成

    CoToGrasp 是一个严格以特定接触拓扑为条件生成多样稳定抓取的生成式框架,完全以物体无关的方式训练,通过基于特征的规范工作空间将局部物体特征投影到统一的夹爪中心域,实现推理时对未见物体的零样本泛化。在 DexGraspNet 数据集上,CoToGrasp 达到 SOTA 性能,超越现有分类引导规划器,并在实体机器人平台上验证了所合成接触拓扑的物理可行性与运动学可行性。代码已在项目网站开源。

  3. arXiv cs.AI26

    ACID:用逆动力学实现动作一致性,提升世界模型规划效率

    ACID 是一个决策时规划框架,通过逆动力学模型从预测的状态转移反推动作,并要求其与条件动作一致,从而引入循环动作一致性。该残差以尺度不变的自适应权重融入规划代价,在四个动作条件世界模型和八个任务(涵盖物体操作、关节控制、视觉导航与真机操作)中一致提升规划表现,并以显著更少的规划计算量达到基线精度。

  4. arXiv cs.AI22

    PearlVLA:在潜在空间中渐进式精炼具身动作规划

    PearlVLA 是一个在潜在空间中渐进精炼 VLM 规划方案的 VLA 框架,利用冻结的潜在世界模型(LaWM)预测中间规划的潜在视觉子目标,经 K 轮迭代后一次性输出动作块。该工作还提出 Causal Refinement-Grouped Process-Reward RL 优化潜在精炼过程,在 LIBERO 和 RoboCasa 基准上表现与现有强方法相当。

  5. arXiv cs.AI24

    ExecVLA:用双层动作表示让 VLA 模型遵循细粒度执行约束

    ExecVLA 通过双层动作表示和监督式双层推理 token,将目标导向组件与执行特定组件分离,使 VLA 模型在完成同一任务目标时能遵循指令指定的交互对象、运动模式、空间关系和终止构型等执行约束。该框架引入目标不变性与执行可预测性目标,并在 LIBERO 仿真和 Realman-75 机器人上构建了带目标和细粒度推理标注的数据集。实验显示目标完成度提升,且对指令执行约束的遵循更为可靠。

  6. arXiv cs.AI27

    推理链作为视觉-语言-动作策略的控制面:DeepThinkVLA 在 LIBERO-Goal 上的反事实干预研究

    研究以确定性实体替换分别对指令和推理链进行修复与破坏双向测量,发现破坏推理链的代价集中在语言单独决定目标的 LIBERO-Goal 任务上。用 DeepThinkVLA 做反事实干预,让策略接收被破坏的指令但替换为干净指令下生成的推理链,挽回了 47.8 pp 的损失成功率,全部 10 个任务均朝预测方向移动,但仍比干净运行低 38.0 pp。

  7. arXiv cs.AI29

    ActionCodec:什么造就了好的动作 tokenizer

    论文从 VLA 优化视角提出动作 tokenizer 的设计原则,包括最大化时间 token 重叠、最小化词表冗余、增强多模态互信息与 token 独立性,并据此推出 ActionCodec。在 LIBERO 上,用 ActionCodec 微调的 SmolVLM2-2.2B 无需机器人预训练即达 95.5% 成功率,配合架构增强后升至 97.4%,创下无机器人预训练 VLA 模型的新 SOTA。

  8. arXiv cs.AI33

    VLA Grounder:面向黑盒 VLA 模型的语言条件空间优化

    研究者提出 VLA Grounder,一种语言条件空间策略,将人类指令转换为简短的 VLA 可执行命令,利用物体外观、空间关系和目标定位线索,通过稀疏任务完成奖励的强化学习优化,下游 VLA 保持完全冻结。在 RL4VLA 和 VL-Think 上的实验表明,语言条件空间优化提升了指令敏感、符号化及多物体操作任务的成功率,说明语言可作为机器人基础模型的可优化变量。

  9. arXiv cs.AI22

    MAMHOI:通过可供性分解实现场景感知的人-物交互生成

    MAMHOI 通过显式的运动-可供性接口,将场景感知的人-物交互生成分解为场景理解与运动合成两步:场景条件模型先预测交互在哪里、如何可行执行,可供性条件 HOI 模型再生成对应的人-物运动。该方法无需配对的人-物-场景数据,即可从互补监督来源中学习场景理解与交互动态。在复杂室内环境实验中,MAMHOI 减少了物体-场景穿透,同时更好地保持了人-物交互质量。

  10. arXiv cs.AI21

    LeWAM:基于扩散引导 MPC 的 JEPA 世界动作模型

    LeWAM 是一个双向 Transformer 世界动作模型,在无解码器的 JEPA 潜空间上端到端训练,可同时完成前向、后向、逆动力学与策略预测。其潜空间在线性探针下读取机器人与物体状态优于 LeWM,且与同规模 flow-matching 策略的闭环表现相当。规划时在策略头的噪声空间采样,比直接采样原始动作更能提升闭环性能。

  11. arXiv cs.AI41

    ARC:机器人基础模型的推理配方

    研究者提出 ARC 推理配方,无需额外机器人演示或基础规模训练即可提升现有机器人基础模型的零样本任务表现。ARC 由推理轨迹、可扩展自动标注流程和适配预训练 RFM 的控制策略三部分组成,可从 DROID 自动构建 ARC-Trace-DROID,并让 π₀.₅ 等 VLA 与 Cosmos3-Nano-Policy 等 WAM 学会用轨迹控制。

  12. arXiv cs.AI24

    RiCo:通过局部接触推理实现刚体交互的神经模拟

    研究者提出 RiCo(Rigid-body Contact Reasoning),用接触表面点的稀疏邻域表示物体间交互,将跨物体推理限制在邻近表面、同时在刚体内部传播接触信息。在 MOVi-benchmark 上,RiCo 将 100 帧位置和朝向误差分别降低 31-35% 和约 38%,穿透时间与平均深度相对真值差异为 11.0% 和 2.22 mm,并可零样本泛化到含 270 个物体的场景。

  13. arXiv cs.AI24

    ACT³:一种以动作为中心的三流 Transformer,融合语义与动力学

    研究者提出 ACT³,一种以动作为中心的三流 Transformer,将 VLM 的语义理解与 WM 的动力学预测融合进控制动作,同时保持各上下文流的独立前向传播。该设计让专用动作专家通过逐层注意力访问 VLM 和 WM 表征,各骨干仅在本流内做注意力,并均可通过控制监督更新。在仿真与真实机器人操作基准上,ACT³ 表现优于同类方法。

  14. arXiv cs.AI22

    PMTRM:面向具身策略学习的伪记忆时间重编码模块

    研究者提出伪记忆时间重编码模块 PMTRM,仅 7.61M 参数,可将已执行状态与动作的有界历史编码为隐序列,供现有策略使用,以缓解机器人操作中局部观测相似但阶段动作不同的相位歧义。该模块通过时间异质性目标惩罚序列远距离位置的正相似度,并用锚点与重建损失保留动作预测所需信息,重建解码器仅用于训练。在仿真与真实机器人上搭配多种策略骨干实验,相位歧义任务成功率提升且额外计算开销很小。

  15. arXiv cs.AI24

    FLOWMEM:为 VLA 模型重组与精炼潜在推理流

    研究提出统一 VLA 模型 FLOWMEM,将成功的潜在计算转化为可复用的推理经验,随具身上下文演变动态检索并重组兼容的潜在片段,形成推理路径,再结合当前视觉与本体感知证据精炼后驱动动作生成。在 RoboMME 和 LIBERO-Plus 上分别取得 48.0% 和 77.3% 的成功率,较无记忆策略提升 1.7 和 4.1 个百分点。

  16. 量子位62

    MirroS 发布 AgentGarten:代码环境加实时神经渲染让智能体边玩边进化

    MirroS 团队发布 AgentGarten,将可执行代码环境与实时神经渲染器连接,以超过 30 fps 的吞吐让智能体持续与世界交互。在重做的捉迷藏实验中,躲藏者第 4 轮学会搬挡板搭掩体,搜寻者第 10 轮掌握借坡道翻墙,而 OpenAI 2019 年研究分别经历约 2500 万局和约 1 亿局。

  17. Hacker News41

    MIT 提出 SANDO 规划系统,为无人机在未知动态环境中提供无碰撞飞行的数学保证

    MIT 研究人员提出安全轨迹规划系统 SANDO,在无人机没有地图、存在未知移动障碍物的环境中,从数学上证明其规划的轨迹始终不会发生碰撞,规划器只需知道障碍物的最高速度。该系统通过构建考虑障碍物未来运动的时间敏感安全走廊,并用热力图规划器避开障碍密集区,在仿真中比多个 SOTA 系统更快到达目标且完全避免碰撞,并在 12 次真实无人机试飞中避开所有动态障碍物。

  18. RadarAI38

    加州州立运动委员会叫停 Rek 的人机格斗比赛

    加州州立运动委员会向初创公司 Rek 发出停止令,称其 9 月 18 日举办的人与机器人格斗为未经批准的比赛,要求未经批准不得在加州举办或宣传涉及人类的拳击、MMA 或表演赛。该比赛中人类 Frankie LaPenna 对阵由人类通过远程虚拟现实系统操控的人形机器人,Rek CEO Cix Liv 已将信件发到 X,公司下一场计划在周五举办两台带武器的机器人对战。

  19. The Verge · AI31

    加州试图叫停人机笼斗,Rek 收到停业令

    加州州立体育委员会向人形机器人格斗联赛 Rek 发出停止令,要求其未经批准不得在加州举办任何涉及人类的拳击或综合格斗赛事。Rek 上月 18 日举办了一场人类 Frankie LaPenna 对战由人远程 VR 操控的人形机器人的比赛,CEO Cix Liv 于 9 月 30 日将信函发到 X。Rek 下一场计划于周五举行,将由两台带武器的机器人对战。