arXiv cs.AI· Xinrui Shi, Kai Liu, Ziqing Zhang, Jianze Li, Anqi Li, Yulun Zhang·· 10 小时前AI 评分38
DRScaffold：提升轻量级视觉语言模型的密集场景推理能力
DRScaffold: Boosting Dense-Scene Reasoning in Lightweight Vision Language Models
AI 导读
研究者提出 DRScaffold 监督微调框架，将监督目标分解为四个因果有序阶段，在不改动模型架构的前提下提升轻量级视觉语言模型的密集场景推理能力。配套发布的 DRBench 基准包含 2,943 张图像上的 14,573 道问题，覆盖五类任务和三个递进推理层级。
正文 · AI 翻译
摘要：轻量级视觉语言模型在标准基准上表现具有竞争力，但在密集场景推理中系统性失败，此类推理需要多个对象、属性和关系被联合定位并通过多步推理加以解析。这种能力对于模型必须可靠解读杂乱环境的现实应用至关重要。然而，现有训练信号未在推理步骤与底层视觉实体和关系之间提供显式定位，使轻量级模型可以自由生成流畅但缺乏视觉锚定的推理链。为弥补这一空白，我们首先提出 DRBench，一个包含 2,943 张图像上 14,573 个问题的基准，组织为跨越三个渐进推理层的五个任务类别。基于 DRBench，我们提出 DRScaffold，一个监督微调框架，将监督目标分解为四个因果有序阶段，在不修改架构的情况下促进有依据的推理。在三个轻量级 VLM 上的实验表明，在 DRBench 上取得显著提升，同时在通用基准上保持或改善性能。值得注意的是，使用 DRScaffold 训练的 Qwen2.5-VL-3B 在 DRBench 上零样本直接回答提示下超越了冻结的 Qwen2.5-VL-32B，表明结构化监督可以在密集场景推理中替代相当一部分模型规模。我们的代码可在 此 https URL 获取。
| 评论： | 32 页 |
| 主题： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI) |
| 引用为： | arXiv:2605.26038 [cs.CV] |
| （或此版本的 arXiv:2605.26038v2 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2605.26038 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xinrui Shi [查看邮箱]
[v1]
2026 年 5 月 25 日星期一 17:05:52 UTC（26,487 KB）
[v2]
2026 年 10 月 30 日星期五 06:43:08 UTC（26,587 KB）
来源：arXiv cs.AI · arxiv.org