跳到正文
arXiv cs.CL· Ege Kaya (University of British Columbia)·· 9 小时前AI 评分38

4-Bit 量化对聊天模型安全行为的影响:用匹配扰动归因行为偏移

Is 4-Bit Quantization More Than Noise to a Chat Model's Safety Behaviour? Attributing Behavioural Shifts with Matched Perturbations

AI 导读

一项预注册研究对三个 3-4B 聊天模型做配对测试与盲人工标注,发现 4-bit 量化带来方向相反的安全行为偏移:预填合规回复时 Qwen2.5-3B 更常续写有害内容,Llama-3.2-3B 在留出越狱集上合规率低 10.3 个百分点。

正文 · AI 翻译

作者:Ege Kaya(不列颠哥伦比亚大学)

查看 PDF HTML(实验性)

摘要:手机和笔记本电脑上的聊天模型通常是经过评估的模型的 4 位副本,而对此类副本的审计在量化对拒答行为的影响上意见不一。4 位构建版本是同一规模的众多权重扰动之一,因此其行为变化可能来自其特定的舍入误差,也可能来自任何同等规模的扰动。在一项针对三个 3-4B 聊天模型的预注册研究中,我们采用配对检验、盲人工标注和 8 位零假设,发现两个方向相反的 4 位偏移:在预填合规回复的情况下,Qwen2.5-3B 更频繁地继续输出有害内容,而在留出的越狱测试中,Llama-3.2-3B 的合规率低 10.3 个百分点。匹配扰动将两者区分开来。误差的乱序版本和高斯版本平均接近零,而将真实误差从其镜像缩放到两倍大小,会使行为近似线性变化。在真实误差的一半处,Llama 的似然几乎不变,但其合规率已低 5.8 个百分点,而 this http URL 的 Q4_K_M 在相同每权重比特数下对两个模型均无影响。4 位量化下的拒答行为取决于特定的舍入误差,而非每权重比特数或似然,因此每个构建版本都必须与其原始版本进行比较。
评论: 16 页,4 幅图。代码与标注:this https URL
主题: 密码学与安全(cs.CR);计算与语言(cs.CL)
ACM 分类: I.2.7
引用为: arXiv:2611.22186 [cs.CR]
  (或本版本的 arXiv:2611.22186v1 [cs.CR])
  https://doi.org/10.48550/arXiv.2611.22186

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Ege Kaya [查看邮箱]
[v1] 2026 年 11 月 17 日星期二 04:20:17 UTC(139 KB)

来源:arXiv cs.CL · arxiv.org