随机种子与温度如何暴露 LLM 拒绝行为的不一致：安全评估稳定性研究

查看 PDF HTML（实验性）

摘要：当前对大语言模型的安全性评估依赖于单次测试，隐含地假设模型响应是确定性的，并且能够代表模型的安全对齐。我们通过研究安全拒绝决策在随机种子和温度设置下的稳定性来挑战这一假设。我们在 20 种采样配置（4 个温度 × 5 个种子）下，对来自三个家族的四个指令微调模型（Llama 3.1 8B、Qwen 2.5 7B、Qwen 3 8B、Gemma 3 12B）在 876 条有害提示上进行测试，发现 18-28% 的提示会出现决策翻转（REFUSE/PARTIAL/COMPLY 标签在不同配置间发生变化），具体比例因模型而异。我们的安全稳定性指数（SSI）表明，更高的温度会显著降低决策稳定性（Friedman 卡方 = 396.81，p < 0.001），温度内平均 SSI 从温度 0.0 时的 0.977 降至温度 1.0 时的 0.942。我们使用 Claude 3.5 Haiku 作为统一的外部评判者，在所有模型家族中验证了这些发现，在两个评判者都标注的两个模型上，与 Llama 70B 评判者达成 89.1% 的评判者间一致率（Cohen's kappa = 0.62）。在每个模型内部，合规率更高的提示表现出更低的稳定性（Spearman rho = -0.47 至 -0.70，所有 p < 0.001），表明模型在边缘请求上更容易“动摇”。这些发现表明，单次安全性评估不足以进行可靠的安全评估，评估协议必须考虑模型行为中的随机变异。对于 Llama 3.1 8B，在跨温度合并时，单次评估与多样本真实标签的一致率仅为 92.5%（从贪心解码时的 98.7% 到温度 1.0 时的 90.3%），我们建议随温度调整样本数量——贪心解码时一个样本，低温时三个样本，更高温度时更多样本（在更高温度下三个样本仅能达到约 95%），合并时十个样本——而不是采用单一的固定阈值。

评论：	17 页，7 幅图，9 张表。代码和数据：此 https URL 。v4：报告的数字没有变化。Claude 3.5 Haiku 评判者在温度 1.0 下运行，而非 0.0（表 9）；在 t=0.0 时，Qwen 2.5 的 81 次翻转中至少有 9 次是评判者噪声，因此 t=0.0 的翻转率包含评判者噪声（第 4.3.1、5.2 节）；翻转现在定义为任何 REFUSE/PARTIAL/COMPLY 标签变化
学科：	机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）
ACM 分类：	I.2.7；I.2.6
引用为：	arXiv:2512.12066 [cs.LG]
	（或本版本使用 arXiv:2512.12066v4 [cs.LG]）
	https://doi.org/10.48550/arXiv.2512.12066 arXiv 颁发的 DOI，通过 DataCite

提交历史

来自：Erik Larsen [查看电子邮件]
[v1] 2025 年 12 月 12 日星期五 22:29:13 UTC（51 KB）
[v2] 2025 年 12 月 16 日星期二 03:45:08 UTC（73 KB）
[v3] 2026 年 8 月 27 日星期四 21:19:17 UTC（82 KB）
[v4] 2026 年 10 月 14 日星期三 02:11:31 UTC（82 KB）