arXiv cs.AI· Jiushu Li, Haoran Wang, Yumeng Liu, Zhiyang Dou, Yuan Liu, Yuexin Ma, Cheng Lin·· 11 小时前AI 评分31
World2HOSI：面向长时程人-物-场景交互生成的多专家编排框架
World2HOSI: A Multi-Expert Harness for Long-Horizon Human-Object-Scene Interaction Generation
AI 导读
World2HOSI 是一个多专家编排框架，可从 3D Gaussian Splatting（3DGS）场景和自然语言指令生成连续的长时程人-物-场景交互（HOSI）数据。它围绕持久化场景状态构建闭环：编排器规划动作阶段、通过各专家原生条件接口调用专家，并将动作效果写回场景状态。实验与感知用户研究显示，该框架在评测的 HOSI 任务上取得最佳任务完成度和交互质量，同时生成更多样化的数据。
正文 · AI 翻译
摘要：长时程人-物-场景交互（HOSI）是具身 AI、动画和游戏开发的核心。现有的人-物交互（HOI）和人-场景交互（HSI）模型在各自领域表现出色，但单独任何一个都无法覆盖需要多种交互技能的任务。训练统一的 HOSI 模型受限于稀缺且昂贵的数据。我们提出 World2HOSI，一个多专家编排框架，可从 3D 高斯泼溅（3DGS）场景和自然语言指令生成连续的 HOSI 数据。我们的关键洞见是：长时程 HOSI 的关键不在于更强的单一模型，而在于编排。给定共享的结构化场景状态以及基于该状态的编排框架，现有专家可以共同完成任何单个专家都无法企及的任务。World2HOSI 将这一洞见实现为围绕持久场景状态的闭环，该状态由解耦的背景和物体资产构建。框架在该状态上规划动作阶段，通过专家原生的条件接口调用专家，并将每个动作的效果写回，从而使每次调用都基于不断演化的世界。为减少物理伪影，有界残差优化和接触驱动的物理仿真分别进一步确保人体运动和物体操作的物理合理性，同时保留交互意图。实验和感知用户研究表明，World2HOSI 在所评估的 HOSI 任务上取得了最佳的任务完成度和交互质量，同时生成了更多样的数据。
| 评论： | 项目页面：this https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.27725 [cs.CV] |
| （或 arXiv:2610.27725v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27725 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiushu Li [查看邮箱]
[v1]
2026年10月20日星期二 06:43:51 UTC（26,497 KB）
来源：arXiv cs.AI · arxiv.org