arXiv cs.AI· Aria Nourbakhsh, Adelaide Danilov, Oleksandr Marchenko Breneur, Salima Lamsiyah·· 13 小时前AI 评分27
从错误预测到因果影响：审计多项选择问答中的 SAE 特征
From Error Prediction to Causal Influence: Auditing SAE Features in Multiple-Choice QA
AI 导读
研究在八项数据集上分析 Gemma 3 1B 与 4B 的 Gemma Scope SAE，提出过滤格式与内容伪影特征的流程，再用因果干预评估剩余特征。结果显示 SAE 激活能预测错误与不确定性，筛选后的特征在问题与选项片段上带来更大绝对 margin 变化和更高错误转正确率，但答案翻转罕见，且在保持语义的提示格式与答案顺序变化下无稳定效应方向。
正文 · AI 翻译
摘要：稀疏自编码器（SAE）能够预测与模型错误相关的内部特征，但仅凭关联并不能确立因果关系。我们在多项选择问答中研究这一区别，其中答案偏好可以通过正确答案与竞争选项之间的 logit 差值来衡量。在八个数据集上，我们使用 Gemma Scope SAE 分析 Gemma~3 1B 和 4B。我们提出了一套流程，用于过滤掉与格式和内容伪影（如提示和答案排列）高度相关的特征，并通过因果特征干预评估剩余特征。结果表明，SAE 激活中包含关于错误性和不确定性的预测信号，且这一现象在不同模型和数据集上均成立。在过滤掉受伪影污染的特征后，针对问题和选项片段选出的用于因果干预的特征，相比随机选择的特征，能产生更大的绝对差值变化和更高的错误转正确率，表明其具有更强的因果作用。然而，答案翻转很少发生，且我们未观察到在保持语义不变的提示格式和答案顺序变化下存在稳定的效应方向。一个改编的 HalluSAE 基线能产生更大的最终 token 差值变化，但依赖于严重受污染的特征，且未显著提高纠正率。因此，所识别的特征反映的是依赖上下文的答案竞争，而非错误答案错误的机制。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.38067 [cs.CL] |
| （或 arXiv:2610.38067v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.38067 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Aria Nourbakhsh [查看邮箱]
[v1]
2026年10月27日 星期二 23:34:33 UTC（250 KB）
来源：arXiv cs.AI · arxiv.org