跳到正文
arXiv·· 13 天前AI 评分22

StagQ:面向 LLM 的约束驱动多精度权重量化

StagQ: Constraint-Driven Multi-Precision Weight Quantization for LLMs

AI 导读

StagQ 是一种多精度权重量化格式,主流为 2-bit 分组仿射基座,后接可配置数量的 1-bit 细化平面,按二进制步长调度。每个支持的精度都是可读前缀,由所有精度共享的元数据推导出的仿射映射解码,无需逐权重查表,从而用单一数据流替代多份权重副本。

来源:arXiv · arxiv.org