arXiv cs.AI· Yichen Feng, Zhangchen Xu, Fengqing Jiang, Yuetai Li, Bhaskar Ramasubramanian, Luyao Niu, Bill Yuchen Lin, Radha Poovendran·· 10 小时前AI 评分34
VisualSphinx：面向强化学习的大规模合成视觉逻辑谜题数据集
VisualSphinx: Large-Scale Synthetic Vision Logic Puzzles for RL
AI 导读
VisualSphinx 是一个大规模合成视觉逻辑推理训练数据集，通过“规则到图像”合成流水线从种子题目提取并扩展谜题规则、生成可执行渲染程序来构建带答案的图像。实验用标准 GRPO 加二元正确性奖励验证，在该数据集上训练的 VLM 逻辑推理表现提升，并迁移到代数、算术和几何推理任务。
正文 · AI 翻译
摘要：视觉语言模型（VLM）被期望能够进行有效的多模态推理并做出逻辑连贯的决策，这对于图表理解和空间问题求解等任务至关重要。然而，当前的 VLM 推理缺乏大规模且结构良好的训练数据集。为弥补这一空白，我们提出了 VisualSphinx，这是首个大规模合成视觉逻辑推理训练数据集。为应对带有可验证答案的图像合成挑战，我们提出了一种从规则到图像的合成流水线，该流水线从种子问题中提取并扩展谜题规则，并生成用于谜题组装的可执行渲染程序。以二元正确性奖励的标准 GRPO 作为验证方案，实验表明，在 VisualSphinx 上训练的 VLM 受益于我们数据集的逻辑连贯性和可读性，并在逻辑推理任务上表现出改进的性能。从 VisualSphinx 中获得的增强推理能力也有益于其他推理任务，如代数推理、算术推理和几何推理。
| 评论： | DMLR；项目页面见 此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2505.23977 [cs.CV] |
| （或 arXiv:2505.23977v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2505.23977 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Fengqing Jiang [查看电子邮件]
[v1]
2025年5月29日星期四 20:08:36 UTC（13,296 KB）
[v2]
2026年10月30日星期五 17:01:52 UTC（5,296 KB）
来源：arXiv cs.AI · arxiv.org