研究：4-bit 量化可放大或抹除模型潜意识偏好
热点事件持续更新
研究：4-bit 量化可放大或抹除模型潜意识偏好
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Md Rayhanul Masud 等发表研究，向 Qwen2.5-7B-Instruct 植入“最喜欢的动物是熊猫”的潜意识偏好后，发现 8-bit 量化下行为稳定，4-bit 量化则因量化器不同而剧烈分化。 研究称，HQQ 把熊猫答案概率从 16-bit 的约 55% 提升到 64%，净强度约为 16-bit 的 1.3 倍；NF4 则将其压低到约 0.3 倍，尽管两者舍入误差幅度相差不超过 4%。 研究据此提出，审计精度需与部署精度一致，否则量化可能改变潜意识偏好的表达。
AI 根据报道生成 · 48 分钟前更新
最新进展11月4日 13:00
量化会重塑潜意识习得的偏好：Qwen2.5-7B-Instruct 审计精度需与部署一致报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- arXiv cs.CL量化会重塑潜意识习得的偏好：Qwen2.5-7B-Instruct 审计精度需与部署一致
研究向 Qwen2.5-7B-Instruct 植入“最喜欢的动物是熊猫”的潜意识偏好后发现，8-bit 量化下行为稳定，4-bit 量化却因量化器不同而剧烈分化：HQQ 将熊猫答案概率从 16-bit 的约 55% 提升到 64%，净强度约为 16-bit 的 1.3 倍；NF4 则将其压低到约 0.3 倍，尽管两者舍入误差幅度相差不超过 4%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。