arXiv cs.AI· Sheldon Liang, Ali Taghibakhshi, Saurav Muralidharan, Sharath Turuvekere Sreenivas, Ashwath Aithal, Pavlo Molchanov, Nima Tajbakhsh·· 11 小时前AI 评分38
AutoCompress：面向硬件约束的自动化模型压缩框架
AutoCompress: Automated Hardware-Guided Model Compression
AI 导读
AutoCompress 是一个硬件引导的压缩框架，将延迟、吞吐和显存约束直接融入可微分架构搜索，联合优化全局与逐层结构以生成异构架构。相比 Minitron，它在 RTX 5070、RTX 5080 和 H100 上八项基准平均准确率分别提升 6.57、2.35 和 0.57 个百分点。
正文 · AI 翻译
摘要：LLM 剪枝必须在满足特定硬件和工作负载对延迟、吞吐量和内存的约束的同时保持质量。现有的剪枝工作流通常以参数数量为目标，要求从业者手动选择满足延迟、吞吐量和 GPU 内存限制的模型规模。然而，仅凭参数数量无法预测这些指标，因为它们取决于模型架构、工作负载、硬件和推理引擎。我们提出 AutoCompress，一个由硬件引导的压缩框架，将此类约束直接纳入可微分架构搜索。AutoCompress 联合优化全局和逐层结构，以生成异构架构，并由经过端到端延迟、吞吐量和内存测量验证的推理引擎成本模型引导。我们在长上下文本地编码、批处理数据中心服务和延迟敏感的游戏中交互场景下评估 AutoCompress。与最先进的 Minitron 剪枝框架相比，AutoCompress 在 RTX 5070、RTX 5080 和 H100 上，于八项基准测试中的平均准确率分别提升 6.57、2.35 和 0.57 个百分点。AutoCompress 还将 Nemotron 3.5 Super 从 120B 参数压缩至 74B 参数，以支持在 128K 上下文下使用单台 B200 进行 BF16 服务，并保留了其平均基准分数的 95%。
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI) |
| 引用为： | arXiv:2611.08290 [cs.LG] |
| （或 arXiv:2611.08290v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08290 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ali Taghibakhsh [查看电子邮件]
[v1]
2026年11月5日星期四 16:53:48 UTC（339 KB）
来源：arXiv cs.AI · arxiv.org