arXiv·· 13 天前AI 评分22
StagQ:面向 LLM 的约束驱动多精度权重量化
StagQ: Constraint-Driven Multi-Precision Weight Quantization for LLMs
AI 导读
StagQ 是一种多精度权重量化格式,主流为 2-bit 分组仿射基座,后接可配置数量的 1-bit 细化平面,按二进制步长调度。每个支持的精度都是可读前缀,由所有精度共享的元数据推导出的仿射映射解码,无需逐权重查表,从而用单一数据流替代多份权重副本。
来源:arXiv · arxiv.org