arXiv cs.CL· Abhinav Sudhakar Dubey, Vidushi Goel, Kiran Rana, Shikhar Mathur, Vaggos Chatziafratis·· 12 小时前AI 评分37
通过自主进化提升 VLM 的科学图表分析能力
Improving VLMs on Scientific Chart Analysis via Autonomous Evolution
AI 导读
研究用自主进化方法搜索推理程序与代码，在不改动模型权重的前提下提升冻结 VLM 的科学图表问答准确率。在三个 VLM 和四个科学图表基准上，描述性问题的精确匹配率平均从 16.6% 升至 41.3%，单项最大提升 55.2 个百分点。进化后的程序还比初始程序快 3.8 倍，表明大量错误源于推理流程而非模型本身。
正文 · AI 翻译
摘要：理解和操作科学图表是数据分析中的标准方法，虽然人类擅长解读此类图表，但已知开放视觉语言模型（VLM）在基于此类数据类型的问答方面表现不佳。受初步观察的启发——它们的许多错误源于不精确的回答——我们提出了以下自然问题：在不改变模型本身的情况下，我们能恢复多少准确率？在本文中，我们通过在“冻结”版本模型的推理程序和代码周围进行搜索来研究这个问题。借鉴自主进化的思想（著名地用于 AlphaEvolve），我们首先从基线推理程序开始，在每一轮中，我们让 LLM 评判员查看代码以及训练问题上的几个失败案例，并要求提出改进的进化动作。正如自主进化方法中的通常做法，候选程序保存在一个按训练准确率排名的小池中，下一次编辑在池中得分最高的程序上进行。我们在三个 VLM 和四个流行的科学图表基准上运行此方法，并测量描述性问题中答案与真实值完全匹配的比例。在所有实验设置中准确率都有所提高。平均而言，它从起始程序的 16.6% 上升到进化后的 41.3%，最大的单次提升为 55.2 个百分点。作为附带好处，我们进化后的程序比起始程序快 3.8 倍，因为简短答案更容易评分且生成更快。我们的结果表明，观察到的错误很大一部分源于推理流水线，优化它可以改进“冻结”的 VLM，而无需重新训练。
| 评论： | 13 页，5 幅图，4 张表。代码：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.35077 [cs.CV] |
| （或 arXiv:2610.35077v1 [cs.CV] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.35077 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Abhinav Sudhakar Dubey [查看电子邮件]
[v1]
2026 年 10 月 26 日星期一 09:22:52 UTC（157 KB）
来源：arXiv cs.CL · arxiv.org