arXiv cs.AI· Nanhe Chen, Runqiu Yang, Jiawei Tang, Sichao Liu, Yuquan Wang·· 10 天前AI 评分30
紧凑机器人策略需要细粒度视觉表征：CoRP 以 48.9M 参数匹配 40.9-163.6 倍规模系统
Compact Robot Policies Need Fine-Grained Visual Representations
AI 导读
研究者提出 CoRP（Compressed Representation Policy），一个 48.9M 参数、不含视觉语言模型和视频生成先验的紧凑策略，在 LIBERO 上达到 97.0%，在 RoboTwin 2.0 Clean/Randomized 上达到 75.78%/73.36%，匹配规模大 40.9-163.6 倍的系统。
正文 · AI 翻译
摘要：多任务操作策略在架构、规模和预训练先验上同时存在差异，因此已发表的比较无法将性能归因于任何单一组件。我们认为其性能主要来自视觉表征，而参数规模和生成式先验在很大程度上是次要的。为验证这一点，我们构建了 CoRP（Compressed Representation Policy，压缩表征策略），一个刻意紧凑的策略（48.9M 参数，无视觉语言模型，也无视频生成先验），它分解为表征提取器和流匹配动作生成器。它在 LIBERO 上达到 97.0%，在 RoboTwin 2.0 Clean/Randomized 上达到 75.78%/73.36%，与规模大 40.9-163.6 倍的系统相当。在固定动作生成器的情况下，我们随后逐一改变提取器的一个属性。预训练初始化是决定性的：随机 ViT-S/14 在 LIBERO 上降至 78.1%，ImageNet ResNet-34 降至 74.5%。仅靠预训练还不够，因为冻结编码器会损失 19.8 个百分点。压缩同样重要：将每个视图重采样为 48 个 token 优于传入所有 patch token（97.0% 对 83.2%），而在这些 token 上使用变分信息瓶颈比硬性 token 预算更差，会将 LIBERO-Goal 从 95.8% 降至 33.0%，因为它抑制了策略所依赖的、与指令相关的 token 选择。语言条件仅在观测对目标存在歧义时才有贡献（LIBERO-Goal：9.2% 到 95.8%），而在观测无歧义的 RoboTwin 2.0 上，移除它反而略微提升成功率。因此，我们认为，当紧凑策略的表征经过预训练、任务适配和压缩时，它就能奏效。项目页面：this https URL
| Comments: | 35 pages, 21 figures, 8 tables |
| Subjects: | Robotics (cs.RO); Artificial Intelligence (cs.AI); Machine Learning (cs.LG) |
| Cite as: | arXiv:2610.08183 [cs.RO] |
| (or arXiv:2610.08183v1 [cs.RO] for this version) | |
| https://doi.org/10.48550/arXiv.2610.08183 arXiv-issued DOI via DataCite (pending registration) |
Submission history
From: Sichao Liu [view email]
[v1]
Tue, 6 Oct 2026 11:36:19 UTC (17,509 KB)
来源：arXiv cs.AI · arxiv.org