研究用激活引导几何指标替代逐层扫描选引导层

Nishkal Hundia 等作者提交论文，提出用可判别性指数 d' 这一计算廉价的几何指标，替代逐层扫描来选择激活引导层。d' 衡量对比训练激活沿引导方向的分离程度。 作者在 3 个模型的 5 种行为上验证：多项选择问答中 d' 能可靠定位有效引导层，开放式多 token 生成中也可用于层选择。但用生成 token 表示在 DIM 线上的位置来预测单例引导成败，仅在 d' 较高的数据集上有效；开放式生成中跨行为、模型和训练 token 的选择并不一致。

AI 根据报道生成 · 45 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。