跳到正文
arXiv·· 12 天前AI 评分27

以影响力引导:面向激活引导的曲率感知数据加权

Steering by Influence: Curvature Aware Data Weighting for Activation Steering

AI 导读

针对推理时激活引导中对比数据集激活均值混入无关概念与噪声、且被少数 token 主导的问题,研究者提出曲率感知的数据加权方法,改为朝最能主题化表达某概念的样本进行引导,而非对所有样本求期望。

来源:arXiv · arxiv.org