arXiv cs.AI· Shu Zhao, Tan Yu·· 3 天前AI 评分23
SMILE：从模型自身错误中自挖掘视觉上下文学习样本
The Value of Being Wrong: Self-Mined Visual In-Context Learning from Errors
AI 导读
SMILE 通过离线记录目标 VLM 自身的预测错误构建模型专属的 hard negatives 池，测试时以预测结果作为方向信号，在语义嵌入空间中找出当前查询最可能重犯的过往错误，无需属性提取、caption 工程等多阶段流程。
正文 · AI 翻译
摘要：视觉上下文学习（ICL）使视觉语言模型（VLM）能够在测试时通过演示示例进行适应，但其有效性关键取决于所选的示例。近期的反事实选择方法通过构建演示来改进 ICL，这些演示揭示了单个属性变化如何影响答案。然而，它们需要涉及属性提取、描述工程和组合图像匹配的多阶段流程。我们提出了一种更简单的替代方案，其基于一个关键观察：模型自身的预测错误是自然的反事实演示，直接编码了其失败模式。我们的方法 SMILE（Self-Mined Visual In-Context Learning from Errors）通过记录目标 VLM 自身的错误，离线构建模型特定的困难负样本池。在测试时，预测作为方向信号，在语义嵌入空间中浮现出最有可能在当前查询中重现的过往错误。这种以预测为条件的识别为闭集分类和开放式视觉问答提供了一种统一的机制，无需针对特定任务进行设计。在四个基准和四个 VLM 上，SMILE 在延迟降低 5 倍的情况下，相比 SOTA 基线平均任务得分提升 +3.09 分。项目页面：this https URL
| 评论： | NeurIPS 2026 Spotlight。19 页，7 张图，9 张表。项目页面：this https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.16977 [cs.CV] |
| （或 arXiv:2610.16977v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16977 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Shu Zhao [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 15:38:27 UTC（7,137 KB）
来源：arXiv cs.AI · arxiv.org