arXiv cs.AI· Zhiyuan Qi, Jierui Li, Yifan Shen, Cheng Qian, Jiateng Liu·· 10 天前AI 评分27
AssemState：面向零样本家具装配的手册与物理状态引导推理
AssemState: Manual and Physical-State-Guided Reasoning for Zero-shot Furniture Assembly
AI 导读
AssemState 是一个零样本家具装配框架，先用锚点引导的边界装配状态把手册页拆解为单零件操作并还原装配树，再通过迭代式后状态反馈修正引导 SE(3) 更新，并用仿真释放测试验证物理合理性。
正文 · AI 翻译
摘要：多模态大语言模型（MLLMs）在视觉理解方面取得了显著进展，但与物理环境相结合的精确 3D 空间推理仍然困难。家具组装不仅需要从图解手册中恢复步骤级操作，还需要将语义连接关系转化为 6D 位姿更新，使部件能够与环境和先前已组装的组件进行物理交互。为研究这一问题，我们提出了 AssemState，一个用于手册和物理状态引导的家具组装的零样本框架。它首先采用锚点引导的边界组装状态，将手册页面分解为单部件操作并恢复组装树。然后，它使用迭代式后状态反馈细化来指导连续的 (SE(3)) 更新和修正，并通过基于仿真的释放测试验证其物理合理性。实验表明，与最强的先前基线相比，AssemState 在组装树恢复方面将 F1 从 38.58\% 提升至 62.80\%，将树精确匹配率从 28.24\% 提升至 53.92\%。在 243 个独立评估的部件级操作上，我们提出的迭代细化将判定接受的操作从 0 提升至 5.3\%，并将平均 Chamfer 距离从 5.4111 降低至 1.7744。然而，视觉上合理的候选位姿仍可能遭受碰撞、悬浮、镜像方向错误、未完全就位和错误侧附着等问题。这些结果表明，AssemState 改进了操作结构恢复和选定的局部位姿指标，而 MLLMs 在空间关系推理方面仍然存在局限。
| Subjects: | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.08446 [cs.AI] |
| （或 arXiv:2610.08446v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08446 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhiyuan Qi [查看电子邮件]
[v1]
2026年10月6日星期二 14:35:49 UTC（3,973 KB）
来源：arXiv cs.AI · arxiv.org