arXiv cs.CL· Mary Lynn Martin, Yifei Zhang, Martha Palmer, Maria Leonor Pacheco·· 11 小时前AI 评分22
ReRef-3D：语言指代引导 3D 物体放置的基准测试
ReRef-3D: A Benchmark for Spatial Referring Expression-Guided 3D Object Placement
AI 导读
ReRef-3D 是一个语言引导的 3D 桌面场景单物体放置基准，包含 998 个 CLEVR 衍生场景中的 33,826 条指令，覆盖 16 种放置类型及直接、一跳、两跳指代。评测显示区域监督的 PlaceIt3D 放置准确率最高约 80%，LLaVA-3D 约 70%，nearest 与 aligned 关系最难，指令改写对性能整体影响不大。
正文 · AI 翻译
摘要：我们提出 ReRef-3D，这是一个用于在受控 3D 桌面场景中进行语言引导单物体放置的基准。它包含 998 个源自 CLEVR 的场景中的 33,826 条指令，涵盖 16 种放置类型以及直接、一跳和两跳指代。鉴于一条指令定义的是一个可接受放置区域而非单个坐标，预测结果通过关系满足度和物理有效性进行评估。每条指令还包含一个经过验证的自然改写。我们评估了 LLaVA-3D、3D-LLM、3D-LLaVA、LL3DA 和 PlaceIt3D，其中 PlaceIt3D 在基于点和基于区域的监督下分别评估。区域监督的 PlaceIt3D 取得了最高的放置准确率，约为 80%，LLaVA-3D 达到约 70%。性能因关系类型而异，但 nearest 和 aligned 仍然是最困难的。改写总体上对性能影响不大。
| 评论： | 18 页，3 幅图。已提交至 ACL Rolling Review (ARR) |
| 主题： | 计算与语言 (cs.CL)；计算机视觉与模式识别 (cs.CV) |
| ACM 分类： | I.2.7; I.2.10 |
| 引用为： | arXiv:2608.16011 [cs.CL] |
| （或此版本的 arXiv:2608.16011v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2608.16011 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mary Martin [查看邮箱]
[v1]
2026 年 8 月 17 日星期一 02:03:28 UTC（512 KB）
[v2]
2026 年 10 月 19 日星期一 21:00:21 UTC（428 KB）
来源：arXiv cs.CL · arxiv.org