安全探针的缩放定律：用模型规模与标签量预测探针性能

查看 PDF HTML（实验性）

摘要：基于模型激活训练的安全探针是实时监控语言模型的标准工具。每当发布新模型或需要监控新的危害领域时，都必须重新训练探针，这需要新的标签并选择探针架构。然而，无论是模型还是标签，都无法预先告诉我们所得探针的性能如何。要弄清这一点，需要训练并比较多种探针配置。在本文中，我们研究探针性能能否改为根据模型规模和标签数量预先预测。现有的安全数据集不足以支持这一点，因为它们要么规模有限，要么已经饱和。因此，我们构建了六个规模足够大、难度足够高的新安全数据集。在这些数据集上，我们针对来自五个模型家族的 20 个基础模型训练了两种探针架构，每个模型使用 32 到 $10^{6}$ 个标签。我们用探针误差衡量性能，其定义为 1 - AUROC，数值越低越好。我们发现探针误差遵循两条简单的缩放定律。第一，模型能达到的最低探针误差随其规模呈幂律下降。第二，随着样本数量增加，探针误差向其下限下降；目标模型规模越大，斜率越大。这两条定律在任务、模型家族和探针架构上均成立，只是拟合常数不同。当在某一家族中最小的模型上拟合时，这些定律在 72% 的情况下能将下一个更大模型的误差预测到 0.02 以内。它们还在 73% 的情况下能判断出，要达到目标误差，增加标签还是使用更大的模型更便宜。最后，当它们选错探针架构时，平均只多出 0.006 的误差。这些定律使安全研究人员能够确定如何为任意给定模型和标签预算创建最佳探针。

提交历史

来自：Yuchen Wu [查看邮箱]
[v1] 2026 年 10 月 22 日星期四 03:43:33 UTC（3,478 KB）