单向量还是多向量？量化下聚类最优传输引导（CHaRS）研究

查看 PDF HTML（实验性）

摘要：激活引导通过在推理时编辑语言模型的隐藏状态来改变其生成内容。其最常见的形式是向每个隐藏状态加上一个向量，即类均值之差（DiM）。CHaRS（概念异质性感知表示引导）则改用最优传输：一个熵计划将两个类别的簇配对，每个隐藏状态沿着簇位移的混合方向移动，并按其最近的簇加权。我们在 Gemma-2-2B 和 Granite-3.1-2B 中研究这一簇化最优传输映射族用于毒性缓解，并探究该计划为 DiM 增加了什么，以及这一点在 INT8 和 NF4 量化下是否仍然成立。
我们证明了一个恒等式：无论采用何种计划，以簇大小为权重对位移取平均都等于 DiM，因此簇化映射只有在某些 token 的路由权重偏离簇大小时才可能不同于 DiM。在 CHaRS 协议中，二者保持接近，并且在全部八项预先设定的等价性检验中，CHaRS 与 Mean-AcT（在每一层都加上 DiM）在统计上等价。一个在单个 token 上拟合的变体将每个 token 主要路由到其最近的簇，在引导强度为 3（toxic-bert）时，其在 Gemma 上比 DiM 少留下 37-39% 的毒性，在 Granite 上少留下 51-61% 的毒性，而 DiM 本身已去除了其中 76-85% 的毒性。另外两个毒性分类器在 Granite 上证实了这一增益，但在 Gemma 上只有一个分类器证实。在相同强度下，该变体的困惑度略高，但在毒性匹配时，它比 DiM 略为流畅。然而，来自相同簇的近乎恒定的映射也少留下约 30% 的毒性，因此区别对待 token 的作用仍待确定。
在 INT8 和 NF4 下，该变体仍比 DiM 留下更少的毒性，并且将其从全精度迁移到 NF4 模型而非重新拟合，在针对多重检验进行校正后并未增加显著毒性。

提交历史

来自：Illia Makarov [查看电子邮件]
[v1] 2026 年 10 月 29 日星期四 13:46:39 UTC（590 KB）