arXiv cs.CL· Jinghong Chen, Jingbiao Mei, Guangyu Yang, Bill Byrne·· 14 小时前AI 评分29
BERAG：面向知识型视觉问答的贝叶斯集成检索增强生成框架
BERAG: Bayesian Ensemble Retrieval-Augmented Generation for Knowledge-based Visual Question Answering
AI 导读
BERAG 提出以贝叶斯集成方式替代 RAG 的文档拼接策略，让语言模型分别以单篇检索文档为条件生成，并用贝叶斯规则逐 token 更新文档后验概率作为集成权重。
正文 · AI 翻译
摘要：检索增强生成（RAG）问答的一种常见做法是将文档拼接成单一上下文，再传给语言模型生成答案。这种做法虽然简单，却会掩盖单个文档的贡献，导致难以进行归因，并加剧“中间信息丢失”效应，即长上下文中的相关信息被忽视。拼接方式的可扩展性也很差：计算成本随上下文长度呈二次增长，当上下文包含视觉数据时（如视觉问答），这一问题尤为严重。通过限制上下文长度来缓解这些问题的尝试，还可能因阻止模型受益于更深层检索带来的召回率提升而进一步限制性能。我们提出贝叶斯集成检索增强生成（BERAG）以及贝叶斯集成微调（BEFT），作为一种 RAG 框架，其中语言模型以单个检索到的文档为条件，而非单一的合并上下文。BERAG 将文档后验概率视为集成权重，并在生成过程中使用贝叶斯规则逐 token 更新这些权重。该方法支持概率重排序、并行内存使用以及清晰的文档贡献归因，使其非常适合大型文档集合。我们主要在基于知识的视觉问答任务上评估 BERAG 和 BEFT，这类任务要求模型对长且不完美的检索列表进行推理。结果表明，相比标准 RAG 有显著提升，包括在文档视觉问答和多模态大海捞针基准上取得强劲增益。我们还证明 BERAG 缓解了“中间信息丢失”效应。文档后验可用于检测支撑不足并触发规避，而文档剪枝则能实现比标准 RAG 更快的解码。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2604.22678 [cs.CL] |
| （或 arXiv:2604.22678v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2604.22678 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jinghong Chen [查看邮箱]
[v1]
2026年4月24日星期五 16:01:19 UTC（1,842 KB）
[v2]
2026年10月26日星期一 17:58:25 UTC（4,910 KB）
来源：arXiv cs.CL · arxiv.org