arXiv cs.CL· Grigoriy Evseev, Vladimir Solodkin, Dmitry Bylinkin, Daniil Medyakov, Vladimir Aletov, Aleksandr Beznosikov·· 12 小时前AI 评分31
WRDO：对齐语言模型中的加权拒绝方向优化
WRDO: Weighted Refusal Direction Optimization in Aligned Language Models
AI 导读
研究者提出加权拒绝方向优化（WRDO），用学习到的聚合权重从逐提示方向库中构建复合拒绝方向，让不同有害提示对最终干预方向贡献不等。在三个开源权重模型上，以三个 guard judges 和 HarmBench 作为外部评估器对比此前单方向方法，并通过标准效用基准测量对通用能力的影响。研究还将同一优化机制反向用于恢复 abliterated 模型检查点的拒绝行为。
正文 · AI 翻译
摘要：对齐后的大型语言模型被训练为遵从良性请求而拒绝有害请求。然而，近期研究表明，这种拒绝行为是脆弱的，常常可以被简单的激活空间或权重空间干预所破坏。特别是，拒绝行为已被证明在很大程度上由单一残差流方向所介导，该方向通常计算为有害提示与无害提示之间的均值差向量。然而，这种标准构造将异质的有害提示聚合为一个统一的平均值，可能混淆了不同的拒绝相关现象。在本工作中，我们研究是否可以通过学习如何组合提示特定的拒绝方向来增强拒绝干预。我们提出加权拒绝方向优化（WRDO），该过程使用学习到的聚合权重，从每个提示方向的库中构造复合拒绝方向。该方法允许不同的有害提示对最终干预方向做出不等的贡献。我们在三个开放权重语言模型上，使用三个防护评判器和 HarmBench 作为外部评估器，将 WRDO 与先前的单向方法进行了评估。我们进一步通过标准效用基准测量了干预对模型通用能力的影响。最后，我们研究了一种面向防御的设置，其中相同的优化机制被反向使用，以在消融模型检查点中恢复拒绝行为。我们的结果表明，加权聚合为操纵拒绝表示提供了一种更有效且更灵活的机制。
| 评论： | 已被 EMNLP 2026 接收 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29555 [cs.LG] |
| （或 arXiv:2610.29555v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.29555 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Dmitry Bylinkin [查看电子邮件]
[v1]
2026年10月21日星期三 10:42:25 UTC（82 KB）
来源：arXiv cs.CL · arxiv.org