arXiv cs.AI· Masha Fedzechkina, Eleonora Gualdoni, Rita Ramos, Sinead Williamson·· 10 天前AI 评分28
模型 top-k logits 会泄露图像查询中的任务无关信息
What do your logits know?
AI 导读
研究以视觉语言模型为测试平台，首次系统比较了残差流经两个自然瓶颈压缩后各表征层保留的信息：tuned lens 得到的低维投影，以及最可能影响模型答案的最终 top-k logits。结果显示，即便是模型 top logit 值定义的易获取瓶颈，也会泄露图像查询中与任务无关的信息，某些情况下泄露量与完整残差流的直接投影相当。
正文 · AI 翻译
摘要：近期研究表明，探查模型内部可以揭示模型生成内容中无法显现的大量信息。这带来了无意或恶意信息泄露的风险，即模型用户能够获知模型所有者认为无法访问的信息。我们以视觉语言模型为测试平台，首次系统比较了信息在不同表征层级上的保留情况：信息从残差流中编码的丰富信息出发，经过两个自然瓶颈被压缩——使用调优透镜获得的残差流低维投影，以及最可能影响模型答案的最终 top-k logits。我们表明，即使是模型 top logit 值所定义的易于访问的瓶颈，也可能泄露基于图像的查询中存在的与任务无关的信息，在某些情况下所揭示的信息量与完整残差流的直接投影一样多。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2604.09885 [cs.AI] |
| （或本版本的 arXiv:2604.09885v3 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2604.09885 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Masha Fedzechkina [查看电子邮件]
[v1]
2026年4月10日星期五 20:24:38 UTC（20,784 KB）
[v2]
2026年10月2日星期五 00:50:16 UTC（21,790 KB）
[v3]
2026年10月5日星期一 20:35:10 UTC（21,792 KB）
来源：arXiv cs.AI · arxiv.org