LLM 机器人团队中的隐蔽内部攻击:少撒谎、撒大谎
研究揭示 LLM 机器人团队面临一种隐蔽内部攻击:单个被攻陷的机器人可破坏团队共享结果。在多机器人勘测任务中,测量结果虽可对照物理世界验证,但每次验证都消耗本可用于推进任务的预算,攻击者受团队自身检测器而非能量约束限制,研究据此推导出两个边界,其中攻击者报告被验证的概率存在上界。
研究揭示 LLM 机器人团队面临一种隐蔽内部攻击:单个被攻陷的机器人可破坏团队共享结果。在多机器人勘测任务中,测量结果虽可对照物理世界验证,但每次验证都消耗本可用于推进任务的预算,攻击者受团队自身检测器而非能量约束限制,研究据此推导出两个边界,其中攻击者报告被验证的概率存在上界。
研究提出通过视觉预测 Fin Ray 柔性夹爪形变来获得力感知,无需专用力或触觉传感器。方法先用力标定数据训练视觉力估计器,为任务演示标注力估计值,再训练动作-力提议策略,联合生成候选机器人动作及其对应力。测试时采样候选动作。
美国陆军代理部长亚当·特尔下达备忘录,着手组建陆军未来与自主系统司令部,并指定自主系统项目组合采购负责人,以加快智能装备采购列装。备忘录要求在航空兵、装甲兵、保障部队和训练部队等至少六类部队推进自主化建设,本财年重点发展自主火力、战斗车辆、水上补给、破障、监视和目标获取等能力。此前美国国防部长赫格塞思已公布 Meridian 和 Agincourt 两个项目,推动机器人技术进入未来战争。
Magic-W0 是一个世界-动作基础模型(WAM),将机器人交互建模为「当前状态—转移—未来状态」的结构化世界转移,并联合建模物理状态演化与连续动作。当前状态融合视觉-语言信息,区别于依赖未来观测重建或通用隐空间预测的现有方法。
针对 VLA 模型低推理速率与机器人高执行速率之间的时序差,研究通过端到端延迟测量拆解了模型推理与机器人执行链的开销,发现重复 Flow Matching 去噪是推理成本的主要来源,机器人侧延迟则主要来自感知采集、通信调度与物理响应。基于速度场在积分早期幅值与方向较稳定、末端步骤方向修正更强的分析,提出阶段感知的两步 Flow 去噪方法,并给出系统级评测。
研究者提出 PerturBot,通过扰动训练打破视觉-语言-动作(VLA)模型中的模态捷径:腕部相机附近的物体可顶替指令目标,熟悉名词在动词改变后仍触发训练时配对的操作,夹爪空抓也会抬起。这些视觉、词汇与运动线索在成功演示中足以预测专家动作,却绕开了任务真正需要的证据。
EyeRobot 2.0 提出用主动凝视实现精细双手操作,仅靠单个立体相机、无需腕部相机。它通过转动两个眼部视角将凝视中心对准场景中的 3D 注视点,并以中央凹方式分配更多视觉 token 给图像中心,把计算集中在任务相关特征上。该方法采用分层方式协调执行任务时的凝视,先训练底层凝视伺服。
研究用稀疏自编码器(SAE)分析 VLA 模型的内部表征,找到一个激活与对抗补丁存在强相关的特征,并据此在推理时抑制该特征,且仅在线性探针检测到攻击时触发。该方法针对对抗补丁操纵视觉观测、导致机器人控制失败的问题,提供了一种机制性防御思路。
MobiAgent 是一个双环智能体框架,用于长时程移动操作,通过递归策略自改进缓解执行误差累积与移动、机械臂控制间的能力干扰。现有 Vision-Language-Action 模型擅长短时程任务,但缺乏多阶段目标所需的层次化推理,已有层次化智能体则存在子任务映射僵化、重规划不灵活和缺乏持续学习的问题。
研究者提出 Reconstruct, Practice, Go Real(RPG)框架,可在不更新模型权重的前提下自主改进机器人执行系统。RPG 从离线数据集中识别操作能力,在仿真中构建相关练习任务,并利用执行反馈、仿真特权状态和数据集视频诊断失败,进而开发可复用的新技能。
研究让辅助机器人通过观察目标机器人与另一台机器人协作,推断其因硬件退化或执行器故障导致的物理约束,再用推断出的能力与同一伙伴完成新任务。该工作聚焦操作任务中单台机器人难以独自搬运大或重物体时的零样本协作问题。
DuoMind 是一个通过语义通信实现多机器人协同的分布式分层框架,每台机器人用基于 VLA 的动作模型做低层执行、用基于 VLM 的编排器做高层决策。该框架面向多机器人系统中长时程行为协调与细粒度可靠执行的难题,相关研究已发布在 arXiv。
研究团队推出 HumanoidToolBench,一个覆盖 3 类场景、3 个执行层级和 2 种工具集模式的 18 项任务基准,用于评估人形机器人的工具使用能力。配套数据集 ToolBook 包含 3.1k 条在仿真环境和真实 Unitree G1 上采集的演示。该基准对七种方法进行了评测。
SPHERE 是一个自适应 VR 室内场景生成框架,通过 LLM 增强的空间偏好学习和 Human-in-the-Loop 强化学习,把单次场景合成变为持续的人机协同创作。它从语音和手柄编辑等多模态交互中提取持久空间偏好,并将原始编辑抽象为分层约束以抵抗空间畸变。
针对自我中心视频中帧重建推断的隐动作易受相机运动等干扰、且人类与机器人行为时序动态不一致的问题,研究者提出 WING(World Action Learning via INteraction-Centric Spectral Latent Guidance),以交互为中心的频谱隐空间引导实现从人类视频到机器人操作策略的迁移。
NAVA-WAM 提出原生动作先验学习,可直接从纯观察视频预训练动作策略,无需动作标注的机器人轨迹,从而突破世界动作模型的可扩展性瓶颈。现有方法通常只用视频预训练视觉表征再做控制适配,或推断隐式动作再映射到机器人指令,而 NAVA-WAM 跳过了这一中间环节。
Ego2Act 是一个评估第一人称视频生成中目标导向操作的基准,针对现有基准多聚焦单一短动作或分步指令、忽视多步物理推理的问题。该基准要求模型在生成视觉画面之外,还需预测执行目标导向动作时环境的动态演变,从而检验其作为具身规划与学习世界模拟器的能力。
InterEvolve 提出一种测试时进化方法,让未经目标训练的人形机器人控制器通过复用已有技能、从自身尝试中改进并保留所学,无需重新训练即可完成移动操作任务。其核心是在规划与控制之间建立可表达接触丰富多阶段交互、又可执行可度量的接口,使执行反馈能指导规划。
PyRUA-Lean 是一个交互式代码执行框架,通过反馈驱动的原语组合与选择性观测,让 GPT-6 Astra 机器人智能体在 Python 单元中组合经典机器人原语与 VLA 策略,仅返回显式请求的图像和状态反馈用于重规划。该框架在 700 项任务上实现成功率提升 14%、Token 用量减少 65%。
研究提出 Kinematic MeanFlow,用于在机器人基础模型(RFM)中实现一步式动作生成,以克服多步 flow matching 的高推理延迟。作者发现 MeanFlow 直接应用会导致性能崩溃,原因在于 RFM 速度场存在两种动态特性:局部加速度在去噪早期稳定但末期急剧上升,且其幅度在样本间的分布随去噪推进而变宽。
OpenRUA 提出一种零抽象 harness,让编码智能体直接编写并执行机器人控制程序,无需为机器人使用定制复杂编排框架或专用接口。该工作质疑此前为智能体编排机器人而做的额外 harness 工程是否必要,并称机器人使用智能体本身即可作为零样本视觉运动策略。
ProWAM 是一种渐进式世界动作模型,通过联合预测动作与有序的稀疏视觉帧序列,解决现有世界动作模型(WAMs)在长时程预测中生成密集视频效率低下的问题。现有部分 WAMs 仅预测单张未来帧,忽略了如何逐步逼近目标,而 ProWAM 以稀疏视觉规划弥补了这一缺陷。
DexPolicy 将探索尺度显式设为训练步数的函数,从宽到窄退火,同时保持损失、架构与奖励不变。在 ViViDex 这类轨迹引导设定中,基线 PPO 跑完 5M 步后动作噪声仍接近初始值,而 DexPolicy 通过调度探索解决了这一问题。
研究团队提出零样本机器人抓取系统 BeyondSCe,可在目标已不可见时,依据过去事件中扮演的角色而非名称或外观定位并抓取物体。当目标被遮挡时,系统结合主动视角选择完成定位。
研究者提出 HIDE,一个用于评估部分可观测条件下机器人操作记忆能力的基准,包含 15 项任务,覆盖重复计数、历史状态回忆与执行进度追踪,并采用随机初始配置与决策点设计。该工作同时探索技能级记忆的增强方法,以应对相似观测下必须依赖交互历史才能可靠执行的问题。
研究提出"演化世界导航"任务,要求具身智能体在目标于未观测期间移动的情况下,从间歇性观测推断目标位置、预测其被检查时的状态,并利用视觉信息修正信念。现有记忆检索与状态预测方法难以应对持续发生的隐藏世界演化,以及在有限可见度下更新信念的挑战。
Dream4ACT 是一个面向跨具身联合视频-动作建模的世界模型,通过共享视觉动作接口统一不同具身的动作表示。研究指出,关节空间动作向量缺乏显式图像空间结构,且在不同具身间维度与语义各异,难以直接利用视频生成模型的时空先验;末端执行器可视化虽可替代,但无法给出机器人执行所需的完整关节构型。
研究者提出 FailBank,一个四阶段自进化框架,将运行时反馈转化为 VLA 模型的持久策略改进。收集阶段用固定的 CBF 安全模块仅作观察,以缓解策略与安全模块之间的持续失配问题。
OTRetarget 提出一种统一方法,通过最优传输联合重定向机器人与多物体运动,解决人形机器人迁移人类运动时难以保持地面与物体接触一致的问题。该方法不依赖固定物体轨迹,可在身体比例差异下同时适配机器人形态与多物体交互,面向 loco-manipulation 任务。
RLE-Bench 是一个评估编码智能体作为机器人学习工程师能力的基准,弥补现有机器人基准只关注策略或控制器等单一产物性能的不足。该基准考察智能体在资源约束下构建、集成、诊断和改进异构产物,并从多模态反馈中推理的工程能力。
TERRA 是一套端到端流水线,仅凭运动学轨迹即可实现肌肉骨骼运动的地形感知重定向与控制,结合地形先验、估计接触与负样本约束。现有肌肉驱动智能体虽能复现复杂人体动作,却大多局限于平地,原因之一是运动数据集缺少对齐的地形几何信息,且将地形交互重定向到复杂肌肉骨骼身体上颇具挑战。
研究者提出 self-compensating VLA,一种部署时自适应方法,让 VLA 策略在生成指令时预先补偿机器人的执行误差。该方法无需任务奖励或标签,利用 VLA 下达动作与机器人实际执行动作之间的残差在线更新策略,以应对机械磨损、负载变化等带来的执行偏差。
针对长任务中单帧画面无法判断进度的问题,研究提出 ProgressCompass,用于评估具身智能体的进度奖励模型(PRM)在上下文依赖下的表现。现有进度估计基准多聚焦可从单帧读出进度的短任务,而长任务的进度取决于此前发生了什么。
Video2Skill 提出流式具身技能发现(SESD)任务,即从连续观察到的操作经验中恢复可复用技能,作为规划的逆过程为未来智能体积累技能数据。研究关注 VLM 虽能描述单个操作事件,但能否将事件流组织成可复用技能。
MotorMind 提出一套脚手架方法,让通用视觉语言模型无需专门训练即可直接完成零样本机器人操作。现有 VLA 模型在新任务和新环境中的零样本泛化能力有限,且依赖专门训练,无法直接受益于快速迭代的通用 VLM;而现有智能体机器人系统往往依赖大量外部模型和工具,带来额外复杂度与成本。
针对机器人从少量演示中学习时组合泛化与技能泛化相互依赖、但技能策略结构与组合层描述之间信息丢失的问题,研究提出 Agent Priors-guided Policy Learning,用智能体先验引导策略学习。该方法的核心思路是让组合层不再仅通过名称、指令或符号算子等丢失结构的描述来调用技能。
研究发现,在 LIBERO、ManiSkill、MetaWorld 和 CALVIN 上对 π_{0.5}、GR00T N1.5/N1.6 等流式 VLA 模型做强化学习后训练时,参数更新呈现显著低秩,且高度集中在动作专家的 Timestep Modules 这一此前被忽视的小组件中。模块替换实验进一步显示,这些模块承担了不成比例的更新份额。
NavHarness 是一个面向终身具身导航的训练无关(training-free)具身框架,将记忆处理纳入导航循环。其多轮智能体会话在导航中调用地图、任务记录与房屋知识,并与新观测交叉核验,以应对跨任务时地图与历史搜索记录不完整或与新观测冲突的问题。
MM-ABC 提出一种面向通用移动操作的框架,通过“感知、协调与想象”应对连续自运动下的空间感知与机械臂、底盘异构动作协调两大挑战。该方法不满足于将移动与操作解耦为独立动作流,还强调需要支持相关表征能力。
Sakana AI 与东京大学合作提出 SAIL,通过测试时扩展让 VLM 更可靠地生成机器人轨迹:策略 VLM 基于少量成功演示生成轨迹,在模拟器中测试并由评估 VLM 审查视频找出卡点,再用 MCTS 探索并修正候选轨迹,仅将选定轨迹下发实体机器人。在六项模拟操作任务中,搜索候选数从 1 增至 45,平均成功率从 25% 提升至 73%。该工作将在 IROS2026 展示。