跳到正文
arXiv cs.AI· Uttamasha Monjoree, Wei Yan·· 10 天前AI 评分31

微调 VLM 提升 AI 空间智能:理解 3D 与 2D 旋转

Fine-Tuning VLM for Enhancing AI's Spatial Intelligence: Understanding 3D and 2D Rotations

AI 导读

研究通过微调 Google DeepMind 的 Gemma-4 MoE 模型提升视觉语言模型的 2D 与 3D 旋转检测能力,微调后的 MoE 模型在按轴和角度预测旋转上显著优于同系列通用模型。微调还大幅改善了无需显式坐标系的 2D 角度估计,且可识别物体并未提升角度检测精度,具有突出线性特征的物体反而表现更好。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:空间智能是科学、技术、工程和数学(STEM)、医学、建筑与建造等多个领域的一项基本技能。近期研究表明,视觉语言模型(VLM)在空间推理方面仍存在局限,这阻碍了人工智能(AI)执行实际的空间任务。利用为训练和评估而开发的多个物体旋转数据集,我们的实验在 2D 和 3D 旋转检测方面均展现出有前景的改进。经过微调的 Google DeepMind 构建的 Gemma-4 混合专家(MoE)模型在预测由其轴和角度定义的旋转方面,显著优于经过微调的 Gemma-4 通用模型。微调还大幅提升了 2D 表示的角度估计,且无需显式坐标系。此外,可识别的物体并未提高角度检测的准确率;相反,具有显著线性特征的物体表现出更好的性能。
学科: 人工智能(cs.AI)
引用为: arXiv:2610.04206 [cs.AI]
  (或 arXiv:2610.04206v2 [cs.AI] 为此版本)
  https://doi.org/10.48550/arXiv.2610.04206

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Uttamasha Monjoree [查看电子邮件]
[v1] 2026年10月3日星期六 01:44:27 UTC(1,497 KB)
[v2] 2026年10月6日星期二 02:46:30 UTC(936 KB)

来源:arXiv cs.AI · arxiv.org