arXiv cs.CL· Tiansheng Hu, Yichuan Wang, James V. Talwar, Nicholas Tomlin, Chen Zhao, Sewon Min·· 11 小时前AI 评分52
DR Pixel：用视觉语言模型做页面原生深度研究
DR Pixel: Page-Native Deep Research with Vision-Language Models
AI 导读
作者提出 DR Pixel，一个以渲染页面图像作为唯一检索与推理单元的开源端到端多模态深度研究智能体，语料规模为 1.06M 页。在自建的 DRPixelBench 上，未经训练的页面原生方案在 GPT-5.4、Gemini-3.5-Flash、Qwen3.6-27B 上均优于基于 OCR 的基线，且所需工具调用更少。
正文 · AI 翻译
摘要：科学论文等复杂文档在表格、插图和公式中蕴含丰富信息；然而，现有的深度研究（DR）智能体通常将论文简化为 OCR 提取的文本。我们转而探究视觉语言模型（VLM）能否实现页面原生的深度研究：直接对渲染后的文档页面图像进行检索和推理。我们提出 DR Pixel，这是首个开源端到端多模态 DR 智能体，以渲染页面图像作为唯一的检索与推理单元，在 106 万页的语料库上运行。为评估这一设定，我们构建了 DRPixelBench，这是一个针对科学论文、要求对文本、插图、表格和公式进行推理的基准。令人惊讶的是，页面原生 DR 在未经训练的情况下就已表现良好，在 GPT-5.4、Gemini-3.5-Flash 和 Qwen3.6-27B 等最先进模型上均优于基于 OCR 的基线，且所需的工具调用更少。接下来我们转向 DR 训练。一个关键挑战是，用于智能体监督微调的教师轨迹存在噪声，将关键推理和动作步骤与冗余或失败的尝试混杂在一起。为解决这一问题，我们引入反事实信用重加权，这是一种细粒度的信用分配方法，根据各个推理和动作步骤对最终答案的反事实贡献对其进行加权。我们的训练在 DRPixelBench 上将检索召回率提高约 15 个百分点，最终准确率提高 10 个百分点以上，并在四个现有基准上同样优于未训练的基线。在分布外 ViDoRe-V3 上，DR Pixel 与直接给定金标页面的 oracle 相差仅 1.8 个百分点。我们的结果表明，传统的先 OCR 再检索的流程不仅没有必要，而且并非最优：直接对视觉文档页面进行检索和推理，能使复杂 DR 既更有效也更高效。
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL）；信息检索（cs.IR） |
| 引用为： | arXiv:2611.03097 [cs.CV] |
| （或 arXiv:2611.03097v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.03097 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tiansheng Hu [查看邮箱]
[v1]
2026年11月2日星期一 13:13:42 UTC（2,657 KB）
来源：arXiv cs.CL · arxiv.org