跳到正文
10月9日周五
  1. NVIDIA Technical Blog22

    用前沿 AI 模型为机器人创建 SimReady 资产的 5 个步骤

    NVIDIA 给出用前沿 AI 模型为机器人仿真创建 SimReady 资产的 5 步流程,基于 NVIDIA Omniverse 库,并遵循 SimReady Foundation 规范、由 NVIDIA 智能体技能引导。该流程用于把 CAD 资产转换为 OpenUSD 并完成验证,开发者需在测试机器人行为前配置和校验材质、碰撞几何、关节及其他物理属性。

10月8日周四
  1. arXiv cs.AI24

    WAMJET:面向世界动作模型加速的智能体框架

    WAMJET 是一个加速世界动作模型(WAM)推理的智能体框架,通过为编码智能体提供可复用的优化指导与测量验证工具,实现最高 9.95 倍无损加速。该框架采用瓶颈驱动流程,由智能体分析推理、修改代码并迭代优化加速栈,实验覆盖六种 WAM、三种编码智能体和两种 GPU 架构。近似与硬件感知优化可进一步降低延迟,且成功率相当。

  2. arXiv cs.AI27

    面向世界动作模型的完成感知引导(CAG)

    研究者提出 Completion Aware Guidance(CAG),一种免训练采样方法,引导世界动作模型(WAMs)生成能完成任务的动作,缓解"任务未完成的想象"问题。在 RoboTwin 2.0 子集上成功率从 64% 提升至 70%,零样本仿真中从 69% 提升至 75%,任务未完成想象从 79% 降至 40%。

  3. arXiv cs.AI33

    SimToolReal:面向零样本灵巧工具操作的以物体为中心策略

    SimToolReal 通过程序化生成大量工具类物体基元并训练单一 RL 策略,实现测试时无需任何物体或任务特定训练的通用灵巧工具操作。该策略比此前的重定向和固定抓取方法性能高 37%,并达到针对特定目标物体和任务训练的专家 RL 策略水平。在 24 项任务、12 个物体实例、6 类工具的 120 次真实世界 rollout 中,SimToolReal 展现出强零样本泛化能力。

  4. arXiv cs.AI22

    VICS-G:为 VLA 策略解码可行未来,安全动作不等于可行动作

    针对冻结的 VLA 策略可能选中局部安全但断绝后续安全完成路径的问题,研究者提出可行未来质量这一候选相关指标,并开发免训练、告警触发的重排序器 VICS-G。在六个 Safety-CHORES 设置中,VICS-G 将平均累计安全代价降低 1.9%-57.5%,成功率与策略采样差距在 2.5 个百分点以内,平均回合长度差距 0.82 步,且无需重新训练策略或在线 rollout。

  5. arXiv cs.AI12

    Ego2World:将第一视角烹饪视频编译为可执行世界以进行信念状态规划

    Ego2World 是一个可执行基准,将第一视角烹饪视频转化为由图转移规则驱动的符号世界,基于 HD-EPIC 从视频标注中提取可复用转移规则,并在隐藏符号世界图中执行。评估时模拟器维护隐藏世界图,智能体仅凭局部观察和执行反馈在自身部分信念图上规划,无法观测真实世界状态。实验显示动作重叠分数会高估物理状态成功率,而持久信念记忆能提升任务完成率并减少重复视觉探索。

  6. arXiv cs.AI22

    4D-HOF:面向前馈 4D 手物交互重建的手物流匹配

    4D-HOF 是一个前馈框架,可从视觉基础模型生成的粗略手物状态出发,通过条件流匹配将其传输至交互流形,前馈式修正平移、旋转与对齐误差,重建 4D 手物交互。该方法在生成传输过程中直接以物理交互约束和观测到的 2D 证据进行测试时引导,无需重建后再做后处理优化。在域外基准上,4D-HOF 取得 SOTA 性能,重建更稳定准确,并能泛化到挑战性的野外场景。

  7. arXiv cs.AI35

    EgoLAP:通过语言-动作推理从第一人称人类数据中学习

    EgoLAP 是一个 VLA 预训练框架,通过共享的基于语言的动作思维链,联合学习人类与机器人轨迹,将运动意图表达为结构化、时间抽象的语言动作。在真实世界与仿真实验中,EgoLAP 达到 80.1% 的平均真实任务进度,相比其他动作表示提升 2.3 倍,运动级推理也优于子任务、物体框与视觉轨迹组合的推理格式。

  8. arXiv cs.AI22

    CropSentry:群体协同多机器人系统利用多模态叶片传感实现农作物行早期胁迫检测

    CropSentry 是一个低成本地面多机器人系统,通过两台自主机器人逐行检测叶片颜色与环境数据,经空间映射后传至主机器人,生成实时网页仪表盘展示作物健康状态。在 63 次观测实验中,作物健康分类总体准确率为 84.12%,其中健康植株 82.60%、营养缺乏植株 88%、患病植株 80%,10 次从机观测的无线通信成功率达 100%。

  9. arXiv cs.AI27

    微型神经策略(MNP)实现安全实时机器人控制

    研究者提出微型神经策略(MNP),将进化策略(ES)与统计模型检测(SMC)验证结合用于策略搜索,大幅缩小神经网络规模而不牺牲安全性与鲁棒性。在 Cartpole 和 Quadrotor 任务上完成大规模训练与评估后,MNP 实现零样本 sim-to-real 迁移,内存占用仅 0.5 至 7.5 kB,可在微控制器上部署,实时推理抖动低于 25 ns,芯片空闲时间超过 97%。

  10. arXiv cs.AI28

    SALT:让 VLA 模型在执行中自适应未知视觉干扰

    研究者提出自监督测试时自适应方法 SALT,利用上一动作块中未执行的"剩余轨迹"作为监督信号,无需干扰标注、专家动作或目标域演示即可在线更新 VLA 策略。在 LIBERO-10 上,SALT 将 SmolVLA 在五种持续视觉损坏下的平均成功率从 43.9% 提升至 53.2%,GR00T N1.7 从 58.7% 提升至 66.0%,并基本保持正常性能。

  11. arXiv cs.AI27

    EigenDEXplore:用人类先验结构化探索的灵巧操作

    EigenDEXplore 通过沿人类手部数据导出的特征向量对独立关节空间噪声施加扰动,在不改变动作空间的前提下诱导相关性探索。在多种灵巧手上,该方法在抓取、手内重定向和接触丰富操作中持续优于关节空间与学习动作空间基线,并覆盖无结构 RL、参考引导 RL、轨迹优化及 sim-to-real 部署,在奖励塑形和课程设计较少时增益最大。

  12. arXiv cs.AI33

    SMART:通过大规模合成预训练实现零样本仿真到现实的关节物体操作

    研究团队提出 SMART 系统,通过仿真平台 SMART-Sim 合成超 100 万条演示数据 SMART-Data,覆盖 44 种原子任务类型、5 种机器人配置和 2,507 个关节物体。基于该数据预训练的 VLA 模型在仿真基准上表现有竞争力,并实现零样本 sim-to-real 迁移,在真实世界关节物体操作任务中展现出可扩展性能。

  13. arXiv cs.AI24

    为世界模型建模潜在扰动以实现鲁棒决策

    研究提出将潜在空间扰动建模为对世界模型学习到的潜在动力学的扰动,通过动力学感知相似度度量与分布外检测构建合理潜在动力学集合,并用共形预测校准不确定性集,再以博弈论优化联合求解鲁棒动作与最坏情况潜在扰动。在 Franka 机械臂硬件实验中,该方法使安全过滤失败率降低 70%、基于采样的策略引导失败率降低 54%。

  14. arXiv cs.AI24

    OpenSplatGraph:从稠密语义地图到开放词汇机器人感知的结构化场景图

    OpenSplatGraph 是一个统一框架,可直接从在线高斯开放词汇语义地图构建持久 3D 场景图,通过可靠性感知语义场实现置信度感知、查询条件下的物体提取,并将物体实例关联为持久图节点以增量更新属性与关系。该框架同时支持语言引导的物体定位与结构化关系推理,在标准 3D 场景理解基准和真实机器人实验中取得有竞争力的性能,已被 ACCV 2026 接收。

  15. arXiv cs.AI18

    VLM 引导的电磁数字孪生在线校准演示:基于 Unitree G1 与 NVIDIA Sionna

    一个由视觉语言模型(VLM)引导的电磁数字孪生在线校准框架,在 Unitree G1 机器人和 NVIDIA Sionna 上演示,通过两次 VLM 调用完成材质分类与路径点规划。在真实室内场景中,该框架在 20 米行程内实现归一化平均绝对电导率误差 1.74×10⁻⁴,随机初始化无法收敛,随机路径点则需两倍以上行程。

  16. arXiv cs.AI42

    VeriFine:通过扩展验证实现具身推理的自我改进

    VeriFine 是一个 agent harness 框架,通过策略、训练课程与评判器的协同演化来扩展验证能力。其 Policy Improvement Loop 用评分标准评判器诊断反复出现的失败并构建自适应课程,当验证成为瓶颈时,Judge Improvement Loop 针对信息量大的失败案例选择性引入人工指导,通过协同校准精炼评判器。