Google DeepMind 与 Stanford 论文：提示词中的红心图形可让 VLM 转向递归解法
Google DeepMind 与 Stanford 论文：提示词中红心图形可让 VLM 转向递归解法
Google DeepMind 与 Stanford 的论文发现，提示词中加入与任务无关的简单彩色图形会隐式改变 VLM 的行为。在 288 种图形的测试中，红心使 Claude Opus 4.7 和 GPT-5.4 在二叉树编码题上的递归解法占比从 0% 升到 100%；Gemini 3.1 Pro 被图形影响时，71.5% 的思考痕迹称图像无关。
Rohan Paul· @rohanpaul_ai · X·2026-11-04 00:14· 1 小时前AI 评分56
AI 导读
Google DeepMind 与 Stanford 的论文发现，提示词中加入与任务无关的简单彩色图形（如红心）会隐式改变 VLM 的行为。在二叉树编码题上，红心使 Claude Opus 4.7 和 GPT-5.4 的递归解法占比从 0% 升到 100%；Gemini 3.1 Pro 被图形影响时，71.5% 的思考痕迹称图像无关。
正文 · 原文
太有意思了。🤔
Google DeepMind 与 Stanford 的新论文发现，提示词中的一张红心图片可以决定 AI 如何写代码，图像中的简单形状能在无关任务上左右 AI，而且模型往往不会说明这一点。
提示词中的纯色形状会改变 AI 模型写代码的方式，尽管这些形状与任务毫无关系。
视觉语言模型如今在日常工作中会读取截图和图像。如果一张无关的图片改变了模型的选择，开发者需要看到这一点，最好能在模型自身的推理中体现出来。
他们在编码提示词中加入一个纯色形状，比如红心，并让模型去看它。在 288 个形状上，他们追踪了 Claude Opus 4.7、Gemini 3.1 Pro 和 GPT-5.4 选择递归解法的频率。
在一道二叉树问题上，一颗红心让 Claude Opus 4.7 和 GPT-5.4 的递归解法占比从 0% 升到 100%。当某个形状确实影响了 Gemini 3.1 Pro 时，其 71.5% 的思考痕迹称该图像无关。
如果你的智能体能看到图像，就要在有图像和无图像的情况下测试它的决策，并且不要指望推理痕迹能标记出视觉影响。
来源：Rohan Paul · x.com
来源：RadarAI · aihot.news