跳到正文
arXiv cs.AI· Hyeonjun Kim, Jegwang Ryu, Sangbeom Ha, Junhyeok Lee, Jun-Hyuk Kim, Hyemin Ahn, Jaeho Lee·· 9 天前AI 评分30

SPARC:面向 VLA 模型的图像压缩框架

Learned Image Compression for Vision-Language-Action Models

AI 导读

研究者提出 SPARC(SPatially Adaptive Rate Control),一种专为 VLA 驱动机器人设计的学习型图像压缩框架,通过轻量级时序掩码选择器按任务相关性自适应分配码率,并引入 tilted rate loss 稳定训练。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:视觉-语言-动作(VLA)模型日益依赖高频多摄像头观测,使得视觉通信成为带宽受限或分布式部署场景下实时机器人控制的主要瓶颈。然而,现有的图像和视频编解码器旨在保持通用的视觉保真度,而非下游 VLA 策略的控制性能。在这项工作中,我们提出了 SPARC(SPatially Adaptive Rate Control,空间自适应码率控制),一个专为 VLA 驱动的机器人量身定制的学习型图像压缩框架。我们的关键观察是,视觉信息的重要性在不同摄像头视角以及图像内的不同空间区域之间差异显著。基于这一观察,SPARC 采用了一个轻量级时间掩码选择器,在利用时间上下文的同时,根据任务相关性在潜在表示上自适应地分配码率。我们进一步引入了一种倾斜码率损失,通过减少基于熵的目标过度抑制稀有但任务关键的视觉模式的倾向来稳定训练。在包括 RoboCasa365、VLABench 和 LIBERO 在内的多种机器人基准测试上的实验表明,在相同的码率预算下,SPARC 始终比传统图像/视频编解码器和近期的学习型压缩方法取得更强的控制性能。我们还展示了在远程控制场景中的真实部署优势,我们的方法显著改善了码率-成功率权衡。
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2606.16253 [cs.CV]
  (或 arXiv:2606.16253v2 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2606.16253

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Hyeonjun Kim [查看电子邮件]
[v1] 2026年6月15日星期一 05:55:58 UTC(22,056 KB)
[v2] 2026年10月7日星期三 18:10:19 UTC(34,476 KB)

来源:arXiv cs.AI · arxiv.org