arXiv cs.AI· Zibin Dong, Yicheng Liu, Shiduo Zhang, Baijun Ye, Yifu Yuan, Fei Ni, Jingjing Gong, Xipeng Qiu, Hang Zhao, Yinchuan Li, Jianye Hao·· 9 天前AI 评分29
ActionCodec：什么造就了好的动作 tokenizer
ActionCodec: What Makes for Good Action Tokenizers
AI 导读
论文从 VLA 优化视角提出动作 tokenizer 的设计原则，包括最大化时间 token 重叠、最小化词表冗余、增强多模态互信息与 token 独立性，并据此推出 ActionCodec。在 LIBERO 上，用 ActionCodec 微调的 SmolVLM2-2.2B 无需机器人预训练即达 95.5% 成功率，配合架构增强后升至 97.4%，创下无机器人预训练 VLA 模型的新 SOTA。
正文 · AI 翻译
作者：Zibin Dong、Yicheng Liu、Shiduo Zhang、Baijun Ye、Yifu Yuan、Fei Ni、Jingjing Gong、Xipeng Qiu、Hang Zhao、Yinchuan Li、Jianye Hao
摘要：利用视觉语言模型（VLM）原生自回归范式的视觉-语言-动作（VLA）模型已展现出卓越的指令遵循能力和训练效率。该范式的核心是动作分词，然而其设计主要聚焦于重建保真度，未能解决其对 VLA 优化的直接影响。因此，\textit{什么才是好的动作分词器}这一根本问题仍未得到解答。本文通过从 VLA 优化的视角建立设计原则来填补这一空白。我们基于信息论洞见确定了一系列最佳实践，包括最大化时间 token 重叠、最小化词表冗余、增强多模态互信息以及 token 独立性。在这些原则的指导下，我们提出了 \textbf{ActionCodec}，一种高性能动作分词器，在多种仿真和真实世界基准上显著提升了训练效率和 VLA 性能。值得注意的是，在 LIBERO 上，使用 ActionCodec 微调的 SmolVLM2-2.2B 在没有任何机器人预训练的情况下达到了 95.5\% 的成功率。借助先进的架构增强，这一数字达到 97.4\%，代表了无机器人预训练的 VLA 模型的新 SOTA。我们相信，所建立的设计原则以及发布的模型将为社区开发更有效的动作分词器提供清晰的路线图。
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2602.15397 [cs.RO] |
| （或 arXiv:2602.15397v2 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.15397 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zibin Dong [查看邮箱]
[v1]
2026年2月17日星期二 07:07:15 UTC（8,933 KB）
[v2]
2026年10月8日星期四 15:35:42 UTC（3,423 KB）
来源：arXiv cs.AI · arxiv.org