arXiv cs.AI· Zilin Du, Haoxin Li, Jianfei Yu, Boyang Li·· 11 小时前AI 评分26
POBF：面向视觉定位的数据稀缺训练数据合成与筛选框架
Paint Outside the Box: Synthesizing and Selecting Training Data for Visual Grounding
AI 导读
POBF（Paint Outside the Box and Filter）通过框外图像修复合成训练图像，解决以往工作中的标签错位问题，并用结合难度分数与过拟合分数、由惩罚项平衡的筛选方案挑选最有效训练数据。在四个基准数据集上，POBF 相比仅用真实数据的方法平均提升 5.83%，准确率领先主流基线 2.29%-3.85%。该框架在不同生成模型、训练数据规模和模型架构下均验证了鲁棒性与泛化性。
正文 · AI 翻译
摘要：视觉定位旨在根据文本查询定位图像区域。鉴于大规模数据整理的难度，本文研究如何在数据稀缺的设置下有效学习视觉定位。为解决数据稀缺问题，我们提出了一种新颖的框架 POBF（Paint Outside the Box and Filter）。POBF 通过在框外进行图像修复来合成图像，解决了先前工作中遇到的标签错位问题。此外，POBF 采用了一种创新的过滤方案来选择最有效的训练数据。该方案结合了难度分数和过拟合分数，并通过惩罚项进行平衡。在四个基准数据集上进行的大量实验表明，POBF 能够持续提升性能，相比仅使用真实数据的方法平均提升 5.83\%，并在准确率上比领先的基线高出 2.29\%-3.85\%。此外，我们在多种生成模型、训练数据规模和模型架构上验证了 POBF 的鲁棒性和泛化能力。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2412.00684 [cs.CV] |
| （或 arXiv:2412.00684v3 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2412.00684 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zilin Du [查看邮箱]
[v1]
2024年12月1日星期日 05:47:59 UTC（2,785 KB）
[v2]
2025年4月20日星期日 10:32:37 UTC（8,267 KB）
[v3]
2026年10月16日星期五 09:26:02 UTC（3,261 KB）
来源：arXiv cs.AI · arxiv.org