arXiv·· 12 天前AI 评分22
Align, Then Correct：面向极低比特量化大语言模型的无训练两阶段低秩补偿
Align, Then Correct: Training-Free Two-Stage Low-Rank Compensation for Extremely Quantized Large Language Models
AI 导读
研究指出，现有低秩量化误差补偿（LQEC）方法受两个简化假设限制：对称校准使补偿目标本身呈高秩，固定秩预算只能捕捉其中一小部分；且仅最小化损失的二阶项。作者提出"先对齐、再校正"的无训练两阶段低秩补偿方法，用于极低比特量化的大语言模型。
来源：arXiv · arxiv.org