跳到正文
热点事件持续更新

研究:推理重要性归因在剪枝中脆弱

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

一项在四个小型推理模型上进行的研究发现,用于语言模型剪枝的推理重要性归因测量存在三重脆弱性,每一种都会改变剪枝决策。研究者 Himanshu Mishra 称,以最终答案 token 打分会在所有测试的思维链模型中饱和,答案 token 的负对数似然仅为 10^-4–10^-3。 与对推理 token 打分相比,这种打分方式在两个用五个随机种子验证的模型上分别损失 27.6 和 32.2 个准确率点,而困惑度几乎不变,在 7B 模型上甚至出现符号反转。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. arXiv cs.AI
    推理重要性归因对语言模型剪枝的脆弱性

    研究在四个小型推理模型上发现,推理重要性归因测量存在三重脆弱性,且每种都会改变剪枝决策。以最终答案 token 打分会在所有测试的思维链模型中饱和(答案 token NLL 仅 10^-4–10^-3),相比对推理 token 打分,在两个用五个随机种子验证的模型上分别损失 27.6 和 32.2 个准确率点,而困惑度几乎不变、在 7B 上甚至符号反转。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。