arXiv cs.AI· Zhuowen Liang, Xiaotian Lin, Yuyu Luo, Haixun Wang, Nan Tang·· 2 天前AI 评分28
DocPilot：面向长视觉文档理解的交互式智能体编排与训练
DocPilot: Interactive Agent Orchestration and Training for Long Visual Document Understanding
AI 导读
DocPilot 是一个支持表达性编排的智能体文档框架，通过页面级导航与细粒度证据定位，结合局部视觉检查、代码数值推理和跨模态推理，并借助课程式智能体训练将能力迁移至小模型。在 MMLongBench-Doc、DocBench、FinRAGBench-V 和 MADQA 上，DocPilot 搭配前沿 VLM 取得显著提升，DocPilot-4B 性能可媲美更大模型，代码已开源。
正文 · AI 翻译
摘要：多模态长文档问答要求模型跨页面和模态寻找稀疏证据，理解异构文档内容，并对收集到的证据进行推理。即使是先进的视觉语言模型（VLM）也可能忽略稀疏证据，并在单次处理中难以进行跨模态推理。现有的文档智能体进一步引入了多步交互，但其中一些仍依赖预定义的工作流或粗粒度动作，限制了文档推理的灵活性和细粒度。我们提出了 DocPilot，一个智能体文档框架，支持富有表现力的编排，并使复杂文档求解可被小型语言模型（SLM）学习。DocPilot 通过页面级导航和细粒度证据定位来编排证据寻找，并整合局部视觉检查、基于代码的数值推理和跨模态推理以实现多模态理解。为了将这些能力迁移到小型模型，我们提出了基于课程的智能体训练，通过来自数据接地的推理轨迹和可执行交互轨迹的监督，从单一能力学习逐步过渡到自适应编排。在 MMLongBench-Doc、DocBench、FinRAGBench-V 和 MADQA 上，DocPilot 在前沿 VLM 骨干模型上取得了显著提升，而 DocPilot-4B 在性能上与规模大得多的模型相比具有竞争力，展示了在多样化长文档推理设置中的强大有效性和泛化能力。代码可在 此 https URL 获取。
| 评论： | 25 页，13 张图，9 张表 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.21327 [cs.AI] |
| （或 arXiv:2610.21327v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21327 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhuowen Liang [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 06:16:43 UTC（12,782 KB）
来源：arXiv cs.AI · arxiv.org