研究:推理重要性归因在剪枝中脆弱
热点事件持续更新
研究:推理重要性归因在剪枝中脆弱
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
一项在四个小型推理模型上进行的研究发现,用于语言模型剪枝的推理重要性归因测量存在三重脆弱性,每一种都会改变剪枝决策。研究者 Himanshu Mishra 称,以最终答案 token 打分会在所有测试的思维链模型中饱和,答案 token 的负对数似然仅为 10^-4–10^-3。 与对推理 token 打分相比,这种打分方式在两个用五个随机种子验证的模型上分别损失 27.6 和 32.2 个准确率点,而困惑度几乎不变,在 7B 模型上甚至出现符号反转。
AI 根据报道生成 · 1 小时前更新
最新进展11月18日 13:00
推理重要性归因对语言模型剪枝的脆弱性报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- arXiv cs.AI推理重要性归因对语言模型剪枝的脆弱性
研究在四个小型推理模型上发现,推理重要性归因测量存在三重脆弱性,且每种都会改变剪枝决策。以最终答案 token 打分会在所有测试的思维链模型中饱和(答案 token NLL 仅 10^-4–10^-3),相比对推理 token 打分,在两个用五个随机种子验证的模型上分别损失 27.6 和 32.2 个准确率点,而困惑度几乎不变、在 7B 上甚至符号反转。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。