arXiv cs.AI· Lei Tian, Chunzheng Zhu, Kai Wu, Yifan Zhang, Haihua Yang·· 13 小时前AI 评分29
PACE：面向高效原生 MLLM 的帕累托自适应压缩框架
PACE: Pareto-Adaptive Compression for Efficient Native MLLMs
AI 导读
研究者提出 PACE，首个为采用 Multimodal-RoPE 的原生 MLLM 定制的视觉 token 压缩框架，在仅保留 25%-50% 视觉 token 时仍保持近乎无损性能，部分基准甚至提升，FLOPs 降低超 2 倍。
正文 · AI 翻译
摘要：原生多模态大语言模型（native MLLMs）在统一的自回归 Transformer 中联合编码视觉与语言序列，正成为多模态理解的一种有前景的范式。与依赖外部视觉编码器的传统基于 ViT 的 MLLMs 不同，无 ViT 的原生 MLLMs 直接对像素块进行 token 化，可能面临严重的视觉 token 冗余问题。一项初步研究证实了这一点：与在压缩下性能下降的基于 ViT 的模型不同，无 ViT 的 MLLMs 能够容忍激进的压缩，性能几乎无损甚至有所提升。然而，现有的压缩方法针对的是基于 ViT 的设置，而最有可能从中受益的原生 MLLMs 尚未被探索。为填补这一空白，我们引入了一个以 token 可判别性和跨维度异构冗余为中心的分析流程，揭示了：(i) 冗余沿高度和宽度轴独立且异构地分布；(ii) 早期层的视觉 token 不可判别且均匀冗余。基于这些发现，我们提出了 PACE（Pareto-Adaptive Compression for Efficient Native MLLMs），这是首个专为具有 Multimodal-RoPE 的原生 MLLMs 量身定制的视觉 token 压缩框架。利用位置编码的维度解耦，PACE 将注意力分解为沿高度和宽度的两个正交空间显著性估计，并由位置注意力信号进行门控，以可忽略的开销产生方向感知的重要性。它进一步将 token 预算分配转化为在性能保持、推理效率和空间覆盖上的帕累托优化，联合确定最优压缩深度和保留比例。实验表明，PACE 在仅保留 25%-50% 视觉 token 的情况下保持近乎无损的性能，甚至在若干基准上有所提升，同时实现超过 2 倍的 FLOPs 降低。
| 评论： | NeurIPS 2026 接收论文 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.24005 [cs.CV] |
| （或 arXiv:2610.24005v2 [cs.CV] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.24005 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Chunzheng Zhu [查看邮箱]
[v1]
2026年10月15日 星期四 17:58:25 UTC（26,662 KB）
[v2]
2026年10月29日 星期四 10:08:02 UTC（26,663 KB）
来源：arXiv cs.AI · arxiv.org