arXiv cs.AI· Zhouhan Zhong, Qiuhong Shen, Xingyi Yang, Jinyi Xu, Xinchao Wang·· 3 天前AI 评分24
LLM2R：用大语言模型做 3D 零件装配
LLM2R: From Large Language Models to 3D Reassemblers
AI 导读
LLM2R 将 3D 零件装配转化为序列建模，用 Point-BERT 编码器和 Q-Former 把每个零件压缩为几何 token 块，再由经 LoRA 适配的因果 LLM 单次前向预测全部位姿。
正文 · AI 翻译
摘要：3D 部件装配旨在通过为每个部件预测一个刚性 SE(3) 变换，从一组未装配的部件中重建出完整形状。由于一个部件的放置位置很少能由其自身几何形状决定，该任务需要对整个部件集合进行推理，而现有方法依赖成对关系或迭代生成与验证，难以扩展到包含大量部件的物体。我们提出 LLM2R，将部件装配视为使用预训练仅解码器大语言模型（LLM）的序列建模：Point-BERT 编码器和 Q-Former 将每个部件压缩为一个几何 token 块，所有部件的块被拼接在一起，一个通过低秩适配（LoRA）适配的因果 LLM 在一次前向传播中处理该序列。然而，因果注意力使一个部件的隐藏状态只能观察到位于其之前的部件。因此，LLM2R 在最后一个部件之后附加一个可学习的摘要 token 块：这些 token 位于每个部件之后，因此其状态以恒定的 token 成本聚合整个装配，而一个部件感知的姿态头在预测每个部件的旋转和平移之前，将其状态与这些摘要 token 融合。因此，一种架构即可处理语义和几何装配，并在一次非自回归传播中预测所有姿态。LLM2R 在全部三个 PartNet 类别上取得了最高的部件准确率和成功率，在 PartNeXt 上取得了最佳的旋转误差、平移误差和部件准确率，并在 Breaking Bad 上取得了最低的平移误差和最快的推理速度，在该数据集上只有一种专门针对断裂的方法比它更准确。其优势随部件数量增加而增长：在 100 个部件时，它在 Breaking Bad 上的部件准确率超过 GARF 33.5 个百分点，在 PartNet 上超过 Assembler 29.1 个百分点，并且它能零样本迁移到未见类别，部件准确率比三个基线中最强者高出 16 个百分点以上。
| 评论： | 20 页，5 幅图，7 张表 |
| 主题： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI)；机器人学 (cs.RO) |
| 引用为： | arXiv:2610.18604 [cs.CV] |
| （或 arXiv:2610.18604v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18604 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Zhouhan Zhong [查看电子邮件]
[v1]
2026年10月13日星期二 15:57:41 UTC（9,686 KB）
来源：arXiv cs.AI · arxiv.org