微软研究院:把物理 AI 推理卸载出机器人可提升任务成功率与续航
微软研究院对移动操作机器人工作负载做了系统性测量,发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU,能提升任务成功率、支持更大的模型并延长续航。
推荐理由:微软研究院系统测量了机器人端侧 GPU 推理的瓶颈,并给出把推理卸载到边缘或云端的开源工具链,可供机器人开发者参考。
微软研究院对移动操作机器人工作负载做了系统性测量,发现把物理 AI 推理从机器人端侧 GPU 卸载到边缘或云端 GPU,能提升任务成功率、支持更大的模型并延长续航。
推荐理由:微软研究院系统测量了机器人端侧 GPU 推理的瓶颈,并给出把推理卸载到边缘或云端的开源工具链,可供机器人开发者参考。
Sakana AI 宣布 Jürgen Schmidhuber 正式加入并出任首席科学顾问,同时参与其新成立的 Recursive Self-Improvement(RSI)Lab。
研究提出 NowWAM,一种无需未来目标预测的机器人控制方法,将预训练生成式 Diffusion Transformers(DiTs)的去噪能力直接用于动作学习,而非通过预测未来视觉帧来迁移生成先验。该方法重新审视了预训练生成式 DiT 对动作学习的实际贡献,并探索如何将这一先验适配到控制任务中。
具身智能正面临严重的数据缺口:全球高质量真实物理交互数据仅约 50 万小时,不足训练基础 LLM 数据的 1/20000。Robbyant 发现 VLA 模型预训练数据从 3000 小时扩至 20000 小时时,下游任务成功率大幅提升且未见饱和,其第二代模型已扩至 60000 小时。机器人数据主要分为人类数据(网络视频、第一人称视角、UMI、动捕)与机器人数据(遥操作、仿真合成)两类。
Black Forest Labs 发布多模态基础模型 FLUX 3,在单一架构中联合学习图像、视频和音频,可单次生成最长 20 秒带音频视频。
Google DeepMind 研究副总裁 Raia Hadsell 在第十届 RAAIS 演讲中提出,语言只是复杂系统之一,天气、生物、合成世界与物理运动同样可以用大模型学习其底层规律。