arXiv cs.CL· Arnab Sanyal, Gourav Datta, Sandeep P. Chinchali·· 2 天前AI 评分38
LazyWeights:面向边缘设备的按需解码 LLM 方案
LazyWeights: Decode-on-Demand Edge LLMs
AI 导读
LazyWeights 在保留 GPTQ、AWQ 等部署格式的前提下,通过调优 GPTQ 使整数码可压缩、以 Huffman 编码无损压缩并在 DRAM 与 L2 之间按需解码,让 GPU kernel 无需改动。
正文 · AI 翻译
摘要:内存决定了边缘设备能运行哪些 LLM,以及运行速度:4 GB Jetson Nano 上受限于容量,8 GB Jetson Orin Nano Super 上受限于带宽。已部署的格式(GPTQ、AWQ、this http URL 的 K- 和 I-量化)对矩阵的每个整数码分配相同的比特数,尽管这些码远非均匀分布。LazyWeights 保留这些格式,但调整 GPTQ 使码可压缩,在交错通道中对其进行无损 Huffman 编码,并在 DRAM 与 L2 之间的小型单元中按需解码,因此 GPU 内核无需改动即可运行,DRAM 只传输编码后的字节。在 1% 和 3.5% 困惑度预算下,编码后的 Phi-3-mini、Mistral-7B 和 SmolLM-1.7B 比最佳的 this http URL 格式小 5.7-31.4%。一个位精确的 0.21 mm^2 ASIC 解码单元(1 GHz,7 nm)将 Orin 的每 token 延迟和能耗分别降低最多 36% 和 38%(配合提示查找推测时分别为 54% 和 44%)。在 Nano 上,LazyWeights 每 token 所需时间比 CPU this http URL 少 58-64%,能耗少 53-57%,并以每权重 3.89 比特运行流式 Mistral-7B,速度快 6.6 倍。在相同吞吐量下,Huffman 解码器在码率和面积上均优于 rANS 解码器;该 ASIC 解码单元在 Zynq UltraScale+ FPGA(AMD ZCU102)上位精确运行。
| 评论: | 6 页,1 页参考文献,5 幅图 |
| 主题: | 机器学习(cs.LG);硬件架构(cs.AR);计算与语言(cs.CL);信息论(cs.IT) |
| 引用为: | arXiv:2611.17108 [cs.LG] |
| (或 arXiv:2611.17108v2 [cs.LG] 为此版本) | |
| https://doi.org/10.48550/arXiv.2611.17108 arXiv 颁发的 DOI(通过 DataCite) |
提交历史
来自:Arnab Sanyal [查看邮箱]
[v1]
2026 年 11 月 12 日星期四 17:03:40 UTC(411 KB)
[v2]
2026 年 11 月 13 日星期五 12:43:24 UTC(411 KB)
来源:arXiv cs.CL · arxiv.org