arXiv cs.CL· Borja Aizpurua, Sukhbinder Singh, Rom\'an Or\'us·· 6 天前AI 评分29
权重聚类揭示大语言模型中相对排名的重要性
Weight Clustering Reveals the Importance of Relative Rank in Large Language Models
AI 导读
研究者对预训练 LLM 的权重矩阵做标量 K-means 聚类，仅用 16–64 个共享值替换原权重，在 Llama 3.1-8B-Instruct 和 SmolLM2-135M 上无需重训练即可保持较强准确率，仅微调聚类质心还能挽回 30–40% 的剩余精度损失。
正文 · AI 翻译
摘要：大型语言模型（LLM）包含数十亿个参数，但许多精确的权重值并非必不可少。我们对预训练模型应用标量 $K$-means 聚类，将每个权重矩阵仅替换为 16--64 个共享值。对于 Llama~3.1-8B-Instruct 和 SmolLM2-135M，这无需重新训练即可保持较强的准确率，提供了一种在磁盘上压缩 LLM 的简单方法。仅微调聚类中心还能进一步恢复剩余精度损失的 30--40\%。将聚类作为分析工具，我们随后保持聚类分配固定，仅扰动共享值，以研究它们的哪些属性最为重要。我们发现，保持它们的 \emph{相对秩}（哪些连接比其他连接更强或更弱）比保持其精确量级更重要。破坏这种排序会大幅增加困惑度，而改变数值但保持排序在许多中间层和后期层中造成的损失很小。然而，仅保持秩并不充分。模型性能还取决于维持重建权重的方差，而早期层仍然更为敏感；扰动聚类分配本身表明其空间几何结构也起着承载作用。我们在来自两个架构家族的四个 LLM 中观察到相同的行为。这些结果表明，权重的排序及其整体方差在 LLM 压缩和鲁棒性中起着核心作用。
| 评论： | 19 页，4 幅图，17 张表 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2603.17917 [cs.LG] |
| （或 arXiv:2603.17917v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.17917 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Borja Aizpurua Altuna [查看电子邮件]
[v1]
2026 年 3 月 18 日星期三 16:55:13 UTC（167 KB）
[v2]
2026 年 10 月 9 日星期五 10:13:46 UTC（183 KB）
来源：arXiv cs.CL · arxiv.org