arXiv cs.CL· Oscar Kemme, Janek Haberer, Ali Hojjat, Olaf Landsiedel·· 11 小时前AI 评分31
HydraLLM：面向弹性文本与视觉语言模型的自适应宽度切片架构
HydraLLM: Adaptive Width Slicing for Elastic Text and Vision-Language Models
AI 导读
HydraLLM 是一种基于 MQA 的弹性架构，通过激活注意力头数量决定嵌入、注意力投影、前馈层和输出头的有效宽度，在单一参数集内形成嵌套子网络。
正文 · AI 翻译
摘要：LLM 和 LVLM 正越来越多地部署在异构硬件上，从数据中心 GPU 到资源受限的边缘设备。它们固定尺寸的架构限制了在具有不同计算、延迟和模型大小目标的部署设置中复用单个模型的能力。我们推出 HydraLLM，一种基于 MQA 的弹性架构。其活跃注意力头的数量决定了嵌入、注意力投影、前馈层和输出头的有效宽度，在单一参数集内形成嵌套的子网络家族。我们引入一种从静态到弹性的转换流水线，从预训练模型检查点开始，包括重要性驱动的权重重排序和带有知识蒸馏的随机子网络训练。我们通过一个弹性投影模块将这一原则扩展到多模态推理，该模块的输出宽度跟随活跃文本宽度。HydraLLM 覆盖的活跃参数配置范围比仅 FFN 弹性架构更广。在 75% 的注意力头活跃时，HydraLLM 的 TriviaQA 准确率比参数多 17.25% 的最先进嵌套基线配置高 2.2 个百分点。在 50% 的注意力头活跃时，我们的多模态模型达到的 CLIPScore 与大 7$\times$ 的 Gemma 3 4B 模型相当。在仅 25% 的注意力头活跃时，HydraLLM 的 token 生成吞吐量比全宽配置提高 75.3%。
| 评论： | 已被 EMNLP 2026 的 BabyLM Workshop 接收 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| ACM 分类： | I.2.7; I.2.6 |
| 引用为： | arXiv:2610.23455 [cs.CL] |
| （或 arXiv:2610.23455v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23455 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Oscar Kemme [查看电子邮件]
[v1]
2026 年 10 月 16 日星期五 13:38:11 UTC（1,103 KB）
来源：arXiv cs.CL · arxiv.org