arXiv cs.AI· Luke Hollis, Tianxing Fan, Heng Yang·· 14 小时前AI 评分38
SceneAgent：从 3D 与 4D 捕捉到仿真环境的智能体流水线
SceneAgent: An Agentic Pipeline from 3D and 4D Captures to Simulation Environments
AI 导读
SceneAgent 是一套智能体流水线，通过基于仿真器的视觉检查与修复，把 3DGS、摄影测量、LiDAR 捕捉、AI 生成 3DGS 场景和 4D 动态视频转换为可交互仿真环境。
正文 · AI 翻译
摘要：视觉采集能提供详细的场景外观，但将其转换为交互式仿真环境需要物体重建、物理建模以及中间错误的修正。我们提出 SceneAgent，一个通过基于仿真器的视觉检查与修复来协调这些步骤的智能体流水线。该流水线处理 3D Gaussian Splatting（3DGS）、摄影测量、LiDAR 采集、AI 生成的 3DGS 场景以及动态场景的 4D 视频，并结合物体分割、物理参数估计、部件分解、关节运动与可变形仿真。为支持策略学习，SceneAgent 生成多样化的物体变体（“数字姐妹”）和脚本化演示。在 GraspClutter6D 的一个杂乱料箱场景中，无论是否使用其技能，SceneAgent 都提升了每个具有可评分输出的编码智能体在 1 cm 处的 F1，且其重建结果优于 SimFoundry：所有智能体配置均超过 SimFoundry 的 F1 分数，最佳为 60.75% 对 6.9%。在 4DCodeBench 的三个动态场景上，SceneAgent 将 Gemini 4 Argon 的平均动态 IoU 从 0.86% 提升至 99.09%。我们进一步展示了多样化的仿真交互以及初步的策略迁移到真实机器人。
| 学科： | 机器人学（cs.RO）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.34745 [cs.RO] |
| （或 arXiv:2610.34745v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34745 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Luke Hollis [查看电子邮件]
[v1]
2026年10月26日星期一 02:45:35 UTC（29,450 KB）
来源：arXiv cs.AI · arxiv.org