arXiv cs.AI· Weihong Li, Hao Jiang, Yaohua Zha, Tao Dai, Shu-Tao Xia·· 11 小时前AI 评分31
PFIR：用部件级功能推理提升 3D MLLM 识别泛化能力
Beyond Pattern Matching in 3D MLLMs: Part-Level Functional Reasoning for Generalizable Recognition
AI 导读
PFIR 通过部件级功能推理（几何→功能→身份）改造 3D MLLM 的识别流程，在 Objaverse→ModelNet40 的零样本测试中将准确率从 60.5% 提升至 66.7%。
正文 · AI 翻译
摘要：3D MLLM 通过模式匹配识别物体，当几何相似的物体需要功能推理来消歧时（例如，梳妆台与衣柜），这种方法就会失败。我们的逐样本几何混淆分数（GCS）揭示了这一失败：在 ModelNet40 最模糊的 20% 样本上，基线准确率为 33.7%，而在最不模糊的 20% 样本上为 84.0%。我们识别出一种“功能作为注释”的模式，其中功能语言装饰已知身份而非支持推理，并假设反转这一信息流应将改进集中在最模糊的样本上。PFIR（用于识别的部件级功能推理）反转了这一流程。基于 PartNeXt 部件分割，其数据管道生成了 507K 个带有功能 CoT（几何 $\to$ 功能 $\to$ 身份）的 QA 对，其渐进式课程最终形成双目标 GRPO：严格的功能推理和为 Objaverse 多样化分布提供描述性基础。两个 RL 目标产生几乎正交的任务向量（$\cos = 0.056$），从而能够通过任务算术进行组合。在严格的双 OOD 协议下（Objaverse $\to$ ModelNet40；XYZRGB $\to$ 仅 XYZ），PFIR 将零样本准确率从 60.5% 提高到 66.7%，增益在几何模糊样本上集中了 $2.6\times$ 倍——支持部件级功能推理作为通向更具泛化性的 3D 识别的有效途径。代码：此 https URL。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.32262 [cs.CV] |
| （或 arXiv:2610.32262v1 [cs.CV] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.32262 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Weihong Li [查看电子邮件]
[v1]
2026年10月23日星期五 07:17:23 UTC（3,963 KB）
来源：arXiv cs.AI · arxiv.org