arXiv cs.AI· Alexa R. Tartaglini, Zhengxuan Wu, Thadd\"aus Wiedemer, Martin Wattenberg, Been Kim, Yuxuan Li·· 11 小时前AI 评分34
一颗红心触发递归：VLM 视觉意义与交流能力研究
A Heart Means Recursion: Exploring Visual Meaning and Communication in VLMs
AI 导读
研究发现，红心等简单视觉符号能显著影响 VLM 在无关任务上的行为，例如引导模型在简单编程题中给出递归解法，且这种引导效应大多是隐式的——模型对符号的直接解读与思考轨迹同实际行为明显背离。
正文 · AI 翻译
摘要：视觉语言模型（VLM）是否具备与我们相同的视觉交流能力？我们分享初步发现，从一个令人惊讶的观察出发：像红心这样简单的视觉符号，能对看似无关的任务中的模型行为产生强烈影响，例如引导模型在简单编程问题上走向递归解法。值得注意的是，这种引导效应在很大程度上是隐性的，因为模型对视觉符号的直接解读和思考轨迹与其观察到的行为存在显著差异。在模型之间的视觉交流中，这导致了生成—解读鸿沟：模型倾向于发送它们（以及人类）认为直观的形状基元，但这些视觉线索往往无法引导其他模型。在涉及抽象概念和故事的进一步交流游戏中，模型能够创造性地使用视觉向彼此传递含义，尽管有些交流对人类来说仍然不够直观。这些发现表明，VLM 可能具备丰富、富有创造性且以视觉为基础进行交流的能力，但它们对视觉含义的解读和生成方式会以令人惊讶的方式偏离人类惯例。总之，这项工作既凸显了人类与 VLM 之间视觉交流的前景，也凸显了其中的挑战。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.36449 [cs.AI] |
| （或 arXiv:2610.36449v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36449 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Alexa Tartaglini [查看电子邮件]
[v1]
2026年10月27日星期二 00:51:17 UTC（14,761 KB）
来源：arXiv cs.AI · arxiv.org