跳到正文
arXiv cs.CL· Arnab Sanyal, Gourav Datta, Sandeep P. Chinchali·· 2 天前AI 评分38

LazyWeights:面向边缘设备的按需解码 LLM 方案

LazyWeights: Decode-on-Demand Edge LLMs

AI 导读

LazyWeights 在保留 GPTQ、AWQ 等部署格式的前提下,通过调优 GPTQ 使整数码可压缩、以 Huffman 编码无损压缩并在 DRAM 与 L2 之间按需解码,让 GPU kernel 无需改动。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:内存决定了边缘设备能运行哪些 LLM,以及运行速度:4 GB Jetson Nano 上受限于容量,8 GB Jetson Orin Nano Super 上受限于带宽。已部署的格式(GPTQ、AWQ、this http URL 的 K- 和 I-量化)对矩阵的每个整数码分配相同的比特数,尽管这些码远非均匀分布。LazyWeights 保留这些格式,但调整 GPTQ 使码可压缩,在交错通道中对其进行无损 Huffman 编码,并在 DRAM 与 L2 之间的小型单元中按需解码,因此 GPU 内核无需改动即可运行,DRAM 只传输编码后的字节。在 1% 和 3.5% 困惑度预算下,编码后的 Phi-3-mini、Mistral-7B 和 SmolLM-1.7B 比最佳的 this http URL 格式小 5.7-31.4%。一个位精确的 0.21 mm^2 ASIC 解码单元(1 GHz,7 nm)将 Orin 的每 token 延迟和能耗分别降低最多 36% 和 38%(配合提示查找推测时分别为 54% 和 44%)。在 Nano 上,LazyWeights 每 token 所需时间比 CPU this http URL 少 58-64%,能耗少 53-57%,并以每权重 3.89 比特运行流式 Mistral-7B,速度快 6.6 倍。在相同吞吐量下,Huffman 解码器在码率和面积上均优于 rANS 解码器;该 ASIC 解码单元在 Zynq UltraScale+ FPGA(AMD ZCU102)上位精确运行。
评论: 6 页,1 页参考文献,5 幅图
主题: 机器学习(cs.LG);硬件架构(cs.AR);计算与语言(cs.CL);信息论(cs.IT)
引用为: arXiv:2611.17108 [cs.LG]
  (或 arXiv:2611.17108v2 [cs.LG] 为此版本)
  https://doi.org/10.48550/arXiv.2611.17108

arXiv 颁发的 DOI(通过 DataCite)

提交历史

来自:Arnab Sanyal [查看邮箱]
[v1] 2026 年 11 月 12 日星期四 17:03:40 UTC(411 KB)
[v2] 2026 年 11 月 13 日星期五 12:43:24 UTC(411 KB)

来源:arXiv cs.CL · arxiv.org