arXiv cs.CL· Arman Hatami, Romina Aalishah, Ilya E. Monosov·· 10 小时前AI 评分42
视觉语言模型中的潜意识学习：无关数据也能传递偏好
Subliminal Learning in Vision-Language Models
AI 导读
视觉语言模型（VLM）同样存在潜意识学习现象：教师 VLM 被微调出对特定动物或面部属性的偏好后，其在不相关几何图形任务中生成的数字可被学生 VLM 学到，学生选择目标偏好的比例比对照组最高高出约 10 个百分点。该迁移在 2B 至 7B 参数模型上均成立，且训练数据越多迁移越强。有偏学生的解释还会更多复用教师解释中的相同词语和短语。
正文 · AI 翻译
摘要：潜意识学习是大语言模型（LLM）中的一种现象：教师模型通过与偏好无关的训练数据将隐藏偏好传递给学生模型。我们研究潜意识学习是否也出现在视觉语言模型（VLM）中。我们微调一个教师 VLM 使其偏好某种特定动物或面部属性，并使用来自同一基础模型的控制教师。两位教师都为一项涉及几何形状的无关视觉任务生成数字。两个从同一基础 VLM 初始化的学生模型在同一批图像上微调，分别使用有偏教师或控制教师生成的数字。在参数规模从 2B 到 7B 的各类 VLM 中，我们发现动物偏好和面部偏好都能通过这项无关任务传递。使用有偏教师输出训练的学生模型比控制学生模型更频繁地选择目标，在动物偏好任务中差异最高可达约 10 个百分点。随着训练数据增多，传递效应可能增强，并随目标偏好、模型以及数字生成方式而变化。除偏好之外，我们还表明，有偏学生模型的解释比控制学生模型的解释使用了更多与有偏教师解释相同的词语和短语，即使三个模型选择的是同一张图像。这些结果对训练 VLM 具有重要意义，并表明在无关数据上训练可能同时改变 VLM 的图像偏好及其对选择的解释方式，而且随着训练样本增多，传递效应可能增强。
| 评论： | 已被 WACV 2027 接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG）；图像与视频处理（eess.IV） |
| 引用为： | arXiv:2611.08538 [cs.CV] |
| （或 arXiv:2611.08538v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.08538 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Arman Hatami [查看邮箱]
[v1]
2026年11月4日 星期三 23:36:01 UTC（19,736 KB）
来源：arXiv cs.CL · arxiv.org