研究:剪枝模型推理覆盖可持平但采样成本上升
热点事件持续更新
研究:剪枝模型推理覆盖可持平但采样成本上升
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Mingyang Song 与 Mao Zheng 提交的研究在匹配采样预算下用 pass@k 对比原始与剪枝模型,发现部分模型经 expert、FFN 和 layer 剪枝后 pass@1 虽下降,推理覆盖范围仍可持平甚至超过原模型,并能解出原模型未解的问题。 但研究指出,严重剪枝下正确解更难被采样到,重复生成增多、可靠性下降,总 token 消耗可能大幅上升。研究据此认为,评估剪枝应同时看可解问题范围和获取正确解的采样成本两项指标。
AI 根据报道生成 · 48 分钟前更新
最新进展11月4日 13:00
重新审视 LLM 剪枝:从测试时扩展视角评估剪枝模型报道时间线
沿着报道,了解事件的不同侧面。
11月4日
- arXiv cs.CL重新审视 LLM 剪枝:从测试时扩展视角评估剪枝模型
研究通过匹配采样预算下的 pass@k 对比原始与剪枝模型,发现部分模型在 expert、FFN 和 layer 剪枝后虽 pass@1 下降,推理覆盖范围仍可持平甚至超过原模型,并能解出原模型未解的问题。但严重剪枝下正确解更难采样,重复增多、生成可靠性下降,总 token 消耗可能大幅上升。因此剪枝应同时以可解问题范围和获取正确解的采样成本两项指标评估。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。