DictLLM：免训练字典核压缩LLaMA-7B达5.1倍
热点事件持续更新
DictLLM：免训练字典核压缩LLaMA-7B达5.1倍
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Jinho Park、Se Young Chun 和 Mingoo Seok 提出 DictLLM，一种基于字典的训练后压缩方法：将分组层内的权重矩阵分解为共享字典与层特定稀疏系数，无需额外训练即可直接从预训练模型获得。 在 LLaMA-7B 上，DictLLM 实现 5.1 倍压缩，WikiText-2 困惑度仅上升 2.9 点，压缩率比当前最优低秩方法高 3.6 倍。作者称，该方法在语言建模与零样本推理基准上持续优于现有训练后低秩压缩方法，并推进了模型大小与性能之间的帕累托前沿。
AI 根据报道生成 · 1 小时前更新
最新进展11月6日 13:00
DictLLM：用字典核实现大语言模型训练后压缩报道时间线
沿着报道，了解事件的不同侧面。
11月6日
- arXiv cs.AIDictLLM：用字典核实现大语言模型训练后压缩
DictLLM 是一种基于字典的训练后压缩方案，将分组层内的权重矩阵分解为共享字典与层特定稀疏系数，无需额外训练即可从预训练模型直接获得。在 LLaMA-7B 上，DictLLM 实现 5.1x 压缩，WikiText-2 困惑度仅上升 2.9 点，压缩率比当前最优低秩方法高 3.6x。该方法在语言建模与零样本推理基准上持续优于现有训练后低秩压缩方法，并推进了模型大小与性能之间的帕累托前沿。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。