arXiv cs.AI· Frank Nie, Ethan B. Liu, Yuan Zhu, Jindong Han·· 23 小时前AI 评分29
智能体框架统一证据检索与利用,提升多模态科学文档推理
Synergizing Evidence Retrieval and Utilization for Self-Improving Multimodal Scientific Document Reasoning
AI 导读
研究提出 Retriever–Perceiver–Reasoner 智能体框架,用于多模态科学文档推理:Retriever 在上下文预算内顺序选取证据,Perceiver 构建问题条件化的隐式本体,Reasoner 结合隐式引导与原始来源生成有据答案。
正文 · AI 翻译
摘要:科学文档推理要求智能体获取并整合分布在文本、图表和表格中的证据。检索可以识别相关来源,却可能遗漏互补性支持,而仅凭答案层面的反馈无法揭示错误究竟源于证据获取还是证据使用。我们提出一种用于多模态科学文档推理的智能体式 Retriever--Perceiver--Reasoner 框架。Retriever 在上下文预算约束下依次选择与来源对齐的证据。给定所选证据和问题,Perceiver 构建一个以问题为条件的潜在本体,即在共享连续空间中对多模态证据的隐式组织。Reasoner 将这种潜在引导与原始来源相结合,以生成有依据的答案。我们通过诊断引导的协同进化来训练这三个组件:交替更新以共享的答题奖励对它们进行优化,同时 Retrieval Potential Feedback(RPF)和 Latent Efficacy Feedback(LEF)识别出需要更好检索或潜在引导的问题,并指导有针对性的重采样。在四个基准和七种评估设置上,我们的框架在 7B 和 8B Reasoner 主干下分别取得 69.9 和 75.0 的平均分,分别超过最强基线 4.0 和 9.1 分。
| 学科: | 人工智能(cs.AI) |
| 引用为: | arXiv:2611.22837 [cs.AI] |
| (或本版本的 arXiv:2611.22837v1 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2611.22837 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Nie Frank [查看电子邮件]
[v1]
2026年11月17日星期二 14:19:18 UTC(960 KB)
来源:arXiv cs.AI · arxiv.org