arXiv cs.AI· Mingkang Liu, Peipei Jiao, Weiming Meng, Tianyuan Liu, Lichen Pang, Junyan Li·· 11 小时前AI 评分38
UniCompress：将多 LoRA 专家压缩为单一紧凑模型，面向边缘智能
UniCompress: From Multi-LoRA Experts to One Compact Model for Edge Intelligence
AI 导读
UniCompress 提出一种面向部署的框架，可将多任务专家能力压缩进一个无适配器的紧凑模型：以合并后的 BF16 Qwen3-VL-4B 为教师，通过 GPTQ 初始化和教师引导的量化恢复构建非对称 INT2 学生模型，对视觉编码器和语言主干联合量化。
正文 · AI 翻译
摘要：具身与边缘系统日益依赖视觉语言模型（VLM）来支持异构技能，然而为每项技能部署单独的任务适配器，同时保留高精度骨干网络，会带来巨大的内存与管理成本。我们提出 UniCompress，一个面向部署的框架，可将多任务专长转化为一个紧凑、无适配器的模型。UniCompress 从整合后的 BF16 Qwen3-VL-4B 教师模型出发，利用 GPTQ 初始化和教师引导的量化恢复，构建非对称 INT2 学生模型。该方法对视觉编码器和语言骨干中的投影权重进行联合量化与恢复，从而在保留完整视觉语言模型多任务行为的同时实现激进压缩。我们在四个异构具身任务上评估 UniCompress：姿态识别、家庭安全理解、多模态对话路由和移动 GUI 动作预测。UniCompress 将近似权重存储从 BF16 的 8.9 GB 降至 INT2 的 2.1 GB，约减少 76%。相比 GPTQ-INT2，它将 INT2 宏任务得分提升 34.3 个百分点，同时与整合后的 BF16 教师模型相差不超过 0.9 分。这些结果展示了教师引导的联合视觉语言 INT2 恢复在资源受限的具身平台上部署单一多技能 VLM 的潜力。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.06075 [cs.AI] |
| （或 arXiv:2611.06075v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06075 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Lichen Pang [查看邮箱]
[v1]
2026年11月4日星期三 07:18:55 UTC（182 KB）
来源：arXiv cs.AI · arxiv.org