arXiv cs.AI· Zhankai Ye, Bofan Li, Yukai Jin, Shuoqiu Li, Wei Wang, Yanfu Zhang, Shangqian Gao, Xin Liu·· 3 天前AI 评分23
GeoMotionGPT：用大语言模型实现几何对齐的动作理解
GeoMotionGPT: Geometry-Aligned Motion Understanding with Large Language Models
AI 导读
GeoMotionGPT 提出一种几何对齐框架，对动作码本与 LLM 嵌入空间同时施加正交性约束，使两者的关系结构自然对应，而非仅靠 token ID 关联。该方法采用带 Gumbel-Softmax 的 decoder-only 量化器实现可微训练与码本均衡使用，并通过稀疏投影将动作码映射进 LLM 嵌入空间，配合两阶段正交正则化调度。
正文 · AI 翻译
摘要：离散动作标记化近来使大语言模型（LLM）能够作为通用的骨干网络，服务于动作理解与动作-语言推理。然而，现有流程通常将动作量化与语义嵌入学习解耦，仅通过标记 ID 将它们关联起来。这种做法无法有效对齐动作空间的内在几何结构与嵌入空间，从而阻碍了 LLM 进行细致动作推理的能力。我们认为，当两种模态共享统一的几何基时，对齐最为有效。因此，我们没有强迫 LLM 从头重建动作标记之间的复杂几何结构，而是提出了一种新颖的框架，在动作码本和 LLM 嵌入空间上显式地施加正交性，确保它们的关系结构自然地相互映射。具体而言，我们采用仅解码器的量化器，配合 Gumbel-Softmax 以实现可微训练和均衡的码本使用。为连接两种模态，我们使用稀疏投影将动作码映射到 LLM 嵌入空间，同时保持正交性。最后，一个两阶段正交归一化正则化调度在分词器训练和 LLM 微调期间施加软约束，以维持几何对齐而不妨碍语义适应。大量实验表明，我们的框架在 HumanML3D 上相比最强基线将聚合平均值提升了 22.4%，在 KIT-ML 上提升了 14.4%，而消融实验证实了分词器、投影和正则化设计的有效性。
| Subjects: | Computer Vision and Pattern Recognition (cs.CV); Artificial Intelligence (cs.AI) |
| 引用为： | arXiv:2601.07632 [cs.CV] |
| （或 arXiv:2601.07632v5 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.07632 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhankai Ye [查看邮箱]
[v1]
2026年1月12日星期一 15:14:29 UTC (4,947 KB)
[v2]
2026年1月14日星期三 02:19:38 UTC (6,694 KB)
[v3]
2026年3月16日星期一 13:36:38 UTC (6,815 KB)
[v4]
2026年3月19日星期四 13:41:22 UTC (6,815 KB)
[v5]
2026年10月12日星期一 13:50:11 UTC (1,940 KB)
来源：arXiv cs.AI · arxiv.org