研究揭示权重剪枝的两种失效模式
热点事件持续更新
研究揭示权重剪枝的两种失效模式
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
一项针对 GPT-2 的因子剪枝实验发现，权重剪枝存在两种性质不同的失效模式。按重要性剪除注意力头（稀疏度达到某阈值）会直接移除面向输出的电路头，使模型准确率跌至接近随机。 按重要性剪除 30% 的 MLP 神经元时，全部 26 个电路头保持完整，但 Name Mover 贡献符号翻转，模型系统性偏好错误名字，准确率仅 17.7%。
AI 根据报道生成 · 2 小时前更新
最新进展10月28日 12:00
Transformer 语言模型权重剪枝的机制性失效模式报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- arXiv cs.CLTransformer 语言模型权重剪枝的机制性失效模式
一项针对 GPT-2 的因子剪枝实验发现，权重剪枝存在两种性质不同的失效模式：按重要性剪除注意力头（稀疏度 ≥ 某阈值）会直接移除面向输出的电路头，使模型准确率跌至接近随机；而按重要性剪除 30% 的 MLP 神经元则让全部 26 个电路头保持完整，但 Name Mover 贡献符号翻转，模型系统性偏好错误名字，准确率仅 17.7%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。