arXiv·· 12 天前AI 评分26
AlignQuant：面向高效 LLM 生成的 Tile 对齐混合精度量化
AlignQuant: Tile-Aligned Mixed-Precision Quantization for Efficient LLM Generation
AI 导读
AlignQuant 是一种训练后量化方法，以 GPU 兼容的二维权重 tile 作为精度分配、紧凑存储与执行的统一单元，让精度在输出通道内跟随敏感度分布。该方法针对细粒度混合精度量化中局部精度选择与 GPU 规则存储计算单元冲突的精度边界错配问题，并采用联合 prefill/decode 校准打分。
来源：arXiv · arxiv.org