arXiv cs.AI· Weitong Li, Donglin Song, Junkai Lin, Xi Xuan·· 3 天前AI 评分23
论文指出 BBQ 偏见分数混淆可答性，提出 GCD 方向设计
Beyond Bias Scores: Answerability Confounds in Activation Steering with Gradient-Constrained Direction Design (GCD)
AI 导读
研究在 BBQ 基准上发现偏见分数混淆了模型偏好与是否作答，可答性通道在 99 种配置中有 17% 的情况贡献超过一半分数变化、11% 的情况贡献全部变化。作者提出 Gradient-Constrained Direction Design（GCD），在 Qwen-7B 协议下将作答率失真降低 14 倍、偏好改变扩大 4 倍，并建议在报告分数时同时披露可答性。
正文 · AI 翻译
摘要：语言模型评估中的偏见分数往往将模型偏好什么与模型是否作答混为一谈。我们在 \textsc{BBQ} 中识别出这一混淆，其模糊分数可分解为可作答性和带符号偏好。在 11 个类别、28,824 个条目和五个模型上，对比引导在 11/11 个类别中降低了带符号模糊分数，但仅在 8/11 个类别中降低了带符号消歧偏好分数。在 99 种配置中，可作答性通道在 17\% 的情况下超过观测分数变化的一半，并在 11\% 的情况下解释了全部变化。在六类别消歧评估中，1,500 个条目中有 20.8\% 翻转为未知选项，而在此处弃权是不正确的；\textsc{StereoSet} 未显示出类似的作答率变化。该效应反映了选择以及对比方向与偏好梯度方向之间的近乎正交性。我们提出梯度约束方向设计（\textsc{GCD}），一种带有未知 logit 一阶约束的选项梯度构造方法。在匹配的 Qwen-7B 协议下，GCD 将作答率失真降低 14 倍，并带来 4 倍更大的偏好变化，而消融实验显示替代选项梯度和无约束选项梯度方向也获得类似增益；仅将未知梯度置零并非增益的原因。我们建议在公布分数时同时报告可作答性。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.17641 [cs.AI] |
| （或 arXiv:2610.17641v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17641 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Junkai Lin [查看电子邮件]
[v1]
2026年10月13日星期二 03:09:29 UTC（2,787 KB）
来源：arXiv cs.AI · arxiv.org