OpenSplatGraph:从稠密语义地图到开放词汇机器人感知的结构化场景图
OpenSplatGraph 将 3D Gaussian Splatting 构建的稠密语义地图转化为结构化 3D 场景图,用于开放词汇机器人感知。现有基于 3D Gaussian Splatting 的建图方法虽能提供高保真几何与高效开放词汇感知,但语义以非结构化特征场表示,限制了以对象为中心的推理;而场景图方法多依赖稀疏几何表示,未能充分利用稠密语义地图。
OpenSplatGraph 将 3D Gaussian Splatting 构建的稠密语义地图转化为结构化 3D 场景图,用于开放词汇机器人感知。现有基于 3D Gaussian Splatting 的建图方法虽能提供高保真几何与高效开放词汇感知,但语义以非结构化特征场表示,限制了以对象为中心的推理;而场景图方法多依赖稀疏几何表示,未能充分利用稠密语义地图。
研究者提出 Physics-Guided Visual Prompting(PG-VP),一个即插即用的多模态感知模块,让冻结的 VLA 模型在 RGB 相机无法察觉的辐射或温度骤升风险下仍能安全导航。该方法复用 VLA 已有的可见障碍物规避能力,无需新编码器、新数据或重新训练模型。
教程演示如何围绕 NVIDIA Cosmos3-DROID 构建端到端流式机器人学习管线,且无需在本地下载 707 GB 数据集。
针对第一人称操作数据稀缺的问题,研究者推出 RoboCap——一顶 250g、六摄像头、双 IMU 的帽子,用于野外第一人称数据采集,并配套设备无关的 Grounded API 3D 算法套件。报告展示了硬件、标定与 3D 算法如何协同达到 SOTA 性能。
Reka AI 发布 190 亿参数全能模型 Rho-1 的研究预览版,在单一神经网络内处理并生成文本、图像、视频和机器人控制动作。该模型将全部模态作为 token 放入同一上下文窗口,无需工具调用或外部模型,可实时生成连续视频并即时响应新指令,同一套权重既预测摄像头图像也驱动机器人运动。
该研究将连续环境下的视觉语言导航(VLN)方法从仿真迁移到真实阿克曼转向移动机器人,无需导航图、360 度全景视图或完美定位。系统集成视觉语言模型,以自然语言指令驱动机器人导航,提升人机交互的直观性。
一种无需训练的方法 RV-ICL 被提出,可将演示视频转化为层级化上下文,让调度冻结 VLA 策略的 LLM 智能体在每轮任务中按需调用视频信息。该方法针对完整视频拖慢每轮推理、固定关键帧丢失接触细节的问题,在规划阶段使用任务结构、在接触阶段使用接触帧。
研究者将一款现代 AI 编程助手置于未知数字岛屿,充当虚拟身体的大脑,仅给出不含具体任务、奖励或活动的最小指令。在三十小时的运行中,该具身智能体爬山、堆叠方块成塔、绘制曼陀罗、重新诠释运动项目,并对其世界的物理规律展开实验,还习得了后续扩展其能力的技巧。这些行为在十三个智能体上重复出现,但各自演化为不同的历史轨迹。
TAPDreamer 是一种针对世界动作模型的对抗攻击方法,仅利用公开编码器构造固定的局部扰动,无需访问目标模型输出。现有攻击需依赖受害模型的动作或预测未来,而 TAPDreamer 通过可迁移的对抗补丁破坏跨任务与动作策略所依赖的视觉表征。
AffordCraft 能从单张 RGB 图像和任务指令出发,通过检索而非生成的方式构建带独立部件、关节和物理属性的仿真资产。现有方法要么用生成模型预测部件与关节但难以在仿真中稳定运动,要么需为每张照片进行长时间模型调用。
SimForcing 是一个仿真引导框架,把仿真同时用作可迁移运动知识来源和可控预测参考,将仿真运动先验蒸馏进真实域机器人世界模型。该框架先迁移仿真中的运动知识,以解决异构机器人视频中难以同时学习精确动作响应与真实视觉动态的问题。
研究揭示世界模型控制器在异步执行下会出现动作语义错配,而非仅将其视为外部控制扰动。通过受控干预发现两种依赖架构的失效模式:TD-MPC2 等基于规划的控制器存在想象与真实未来动作时间线错配。
ArtifactArena 是一个开放式平台,让模型在物理落地的软硬件协同设计挑战中,设计能在模拟竞技场对战的完整机器人。平台通过三种测试框架评估前沿模型的零样本能力、验证器引导的迭代优化和开放式物理设计能力,分别依据文本描述、物理模拟器反馈和游戏数据来改进机器人产物。
该研究提出一种AI驱动的混合方法,将多智能体强化学习与神经进化相结合,自动合成用于自主视觉导航的集群机器人控制器,以生成去中心化的涌现集体行为。该方法面向搜索救援、环境监测等复杂动态场景,目标是解决集群机器人去中心化控制器的数据驱动设计难题。
在 LIBERO 基准上,对 VLA 策略中 affordance head 的接入方式做了受控研究:用 stop-gradient 读取主干、再通过可学习 bridge 将中间 head 特征回注 action expert。stop-gradient 是前提,若让 affordance 梯度触及主干,策略性能会从无头基线的 93.1% 降至 85.5%。
针对双积分器连续动力学下的多机器人协调,GAMBIT 提出在运动基元上学习协调启发式策略,让单个机器人放弃局部奖励最大化行为以提升团队整体表现。该方法面向密集、交互频繁的环境,弥补手工设计启发式难以刻画此类自我牺牲行为的不足。
针对世界动作模型(WAM)执行偏离预测后剩余动作失效的问题,研究者提出未来锚定验证与在线恢复方法,利用 WAM 行动前预测的未来状态来恢复任务所需状态,而非仅从已偏离分布的当前状态重新规划。现有执行监控器只能决定何时停止,无法决定恢复什么。
VLA-ZO 是一个面向视觉-语言-动作(VLA)模型的快速零阶适配框架,通过利用 VLA 计算结构来减少零阶优化所需的扰动查询次数。传统一阶适配会超出面向推理的部署平台内存预算,而零阶优化虽只需前向计算、内存开销与推理相当,但朴素方法对大型 VLA 模型过慢。
德国机器人公司 RobCo 估值突破 10 亿美元,成为欧洲新晋机器人领域独角兽。
Yann LeCun 在 ETH Zürich 演讲中直言学术界不应研究 LLM,认为学者在这方面"拿不出任何东西"。他建议想做真实世界具身 AI、物理 AI 的人既不要做 LLM,也不要做生成模型,并称这番立场让他在硅谷不太受欢迎。
卡内基梅隆大学 Safe AI 实验室主任丁昭与 Kyle Wong、Simo Rachidi 创立 Safeworld,今日结束隐身状态并完成超 1200 万美元种子轮,由 Shine Capital 和 a16z Speedrun 领投。该公司为生成式 AI 机器人提供安全评估。
研究首次系统评估了具身智能体的越狱护栏,发现现有安全基准只评测具身模型本身,无法反映护栏在实际部署中的防御效果。该工作针对 LLM 与视觉语言模型驱动的具身智能体,比较了多种拦截危险动作的护栏方法。
针对扩散与流匹配机器人策略因迭代去噪导致预测延迟、难以支撑高频闭环控制的问题,研究提出 Adaptive Mean Flow,用于实现响应式闭环机器人控制。该方法面向模仿学习场景,旨在缓解频繁更新动作预测时出现的抖动与不稳定运动。
论文检验 VLA 的泛化究竟源于对物体物理属性的全局理解,还是仅复现已学会的动作。作者对七个 VLA 的激活做线性探测与表征相似性分析(RSA),发现质量、易碎性、可变形性等物理属性信息确实存在。
据德媒 Donaukurier 10 月 2 日报道,英国具身智能初创企业 Wayve 将与大众旗下软件公司 CARIAD 合作,为大众供应自动驾驶解决方案。Wayve 负责开发自动驾驶 AI 软件,CARIAD 负责软件与大众-博世联合开发硬件的系统集成。此前十余家技术供应商参与了大众在德国南部一座主要城市的方案演示,Wayve 在技术和财务两方面表现突出。
OGAM 通过对象锚定注意力监控,把系统化测试接入 VLA 策略的运行时保障:测试揭示成功与失败执行之间的注意力分歧,OGAM 用该信号拦截有限测试集之外的失败。方法通过动作模板与对象的成对组合生成场景锚定指令,并单独测试保持语义的改写指令,87 个基准外案例均暴露出问题。
针对每条腿仅四个驱动关节、无髋或踝侧摆的欠驱动双足机器人,论文提出分层强化学习框架:高层策略输入机器人位姿、36 个射线投射近距测量、移动障碍物状态和滚动时域局部目标,每十个控制步输出一次机体速度指令 (v_x, v_y, ω_yaw),由速度条件化的低层策略执行。
针对生成式机器人策略在连续异步重规划中因独立随机初始化导致模式切换与动作块衔接不一致的问题,研究者提出 Execution-Aligned Progressive Noise(EAPN),在块间与块内两个层面引入结构化随机性。块间通过传播共享噪声轨迹并与实际执行位移对齐建立执行对齐的块间相关性,块内则建模动作序列的时间相关性。
研究提出 Conditional Trajectory Peaks(CTP),一种单次前向的策略框架,可同时预测完整的动作分块候选、概率质量与轨迹尺度,用于多模态模仿学习。
加州州立体育委员会(CSAC)向机器人格斗公司 REK 发出停止侵权禁令,要求其停止举办、宣传或赞助在旧金山举行的人形机器人笼斗赛。未取得许可组织此类格斗活动属轻罪。
FLEX-WAM 是一个可灵活、高效进行块因果建模的世界-动作模型,支持可变长度上下文与非因果预测时域,并可无限自回归生成。它针对现有联合视频-动作模型计算量大、固定时域难以流式推理和稳定长时程开环推演的问题,统一了仿真与策略推理。
英伟达与鸿海首次对外展示机器人制造设备成果,GB300 母线(Busbar)组装成功率已超 95%,多连接器插接成功率约 90% 至 95%。Busbar 组装时间目标在 124 秒以内,4 组连接器插接目标 72 秒以内,整体生产周期不超过熟练人工两倍时间。
VAMPS 是一个利用 Model Predictive Path Integral(MPPI)控制训练可复用机器人策略的框架,无需人类演示数据。它支持两种训练模式:单步本体感知策略在仿真中迭代训练,由策略热启动 MPPI,精炼后的轨迹随策略变化提供新监督信号。
CoDance 是一个从视频学习反应式、柔顺人-人形机器人交互的框架,以双人舞为挑战性实例,让机器人配合移动舞伴协调脚步并保持双手持续接触。给定一段两名人类舞者的单视频,CoDance 将其动作重定向为机器人参考动作。
Vela 是一个视觉-语言-动作基础模型,将未来机器人行为表示为连续轨迹,而非固定速率的动作块。它通过自适应动作曲线参数化,解决点式表示在相邻动作上浪费容量、时序连续性与平滑性只能隐式学习、以及长时程覆盖与接触密集操作局部精度难以兼顾的问题。
针对冻结的 VLA 策略,研究者提出"可行性-似然性差距":动作可能概率高且局部可行,却没有任何策略支持的路径通向安全完成任务。他们推导出限制在安全任务完成条件下的历史条件策略-环境轨迹律的精确下一块边缘分布,其中候选动作相关的可行未来质量既记录支撑集,也承担另一作用。
该论文提出一种六自由度管道跟踪 ROV 架构,用同一份 USD 场景向两侧提供真实 BlueROV2-Heavy 的质量、附加质量、阻尼、浮力与推进器参数:一侧是 Fossen 船舶方程式的向量化 NumPy 实现,另一侧是 NVIDIA Isaac Sim 中的交互式仿真。
DiVeR 提出一种决策关键验证器学习方法,用于 VLA 策略的测试时扩展:通过采样多个动作候选并挑选最可能成功的动作,替代昂贵的机器人数据扩展。现有基于分类的验证器仅从轨迹级结果学习、对所有访问状态一视同仁,而 DiVeR 针对状态间候选区分价值差异进行改进。
PreAct-Nav 提出在城市导航中先推理再行动的智能体方法,用于解决现有方法难以将远距离目标转化为连贯局部决策的问题。该方法针对依赖瞬时观测或有限历史的语言推理局限,强调对动作后果与未来状况的预判,以应对长距离复杂城市路线。
作者提出 RobotUse,一个机器人智能体执行框架,将计算、上下文和决策围绕物理动作的指定与修正来组织。智能体通过视觉选择目标与位姿,后端负责几何、运动规划与控制,子智能体则保留详细交互记录。该框架针对现有接口把选择留在预定义工具内、或要求智能体自行管理执行代码与不断增长历史的问题。