arXiv cs.CL· Liubov Chubarova, Alexandra Kuleshova, Daniil Volkov, Kirill Sultanov, Alexey Zaytsev·· 11 小时前AI 评分34
BEAR-Bench：面向多模态模型的双语企业与学术推理基准
BEAR-Bench: A Bilingual Enterprise and Academic Reasoning Benchmark for Multimodal Models
AI 导读
BEAR-Bench 是一个自包含的英俄双语基准，包含 1000 道基于文本密集型企业与科研文档的人工标注问题，用于评估多模态大模型的复杂推理能力。研究评测了 Gemini 3.1 Pro、Qwen3.5-397B 等 16 个闭源与开源权重 MLLM，发现即使最强系统仍有明显提升空间。研究还利用模型输出对比现有幻觉检测方法，考察失败频率及失败能否被可靠识别。
正文 · AI 翻译
摘要：尽管多模态大语言模型（MLLMs）在视觉理解方面取得了显著进展，但其对文本密集的专业文档进行推理的能力仍未得到充分评估。现有基准侧重于信息抽取，需要外部领域知识，或仅将专业文档作为众多设置之一。它们也主要面向英语或中文，导致其他语言尤其是俄语严重缺乏代表性。为解决这些局限，我们推出 BEAR-Bench（双语企业与学术推理），这是一个自包含的复杂英俄双语基准，包含 1000 个基于文本密集型商业与科学文档的人工标注问题。我们在 BEAR-Bench 上评估了 16 个专有和开放权重 MLLMs，包括 Gemini 3.1 Pro 和 Qwen3.5-397B，并观察到即使最强系统也仍有明显提升空间。最后，我们利用生成的模型输出比较现有幻觉检测方法，不仅评估模型在 BEAR-Bench 上的失败频率，还评估这些失败能被可靠识别的程度。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.17895 [cs.CL] |
| （或 arXiv:2608.17895v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.17895 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Alexandra Kuleshova [查看邮箱]
[v1]
2026年8月18日 星期二 15:29:09 UTC（3,841 KB）
[v2]
2026年10月16日 星期五 09:30:41 UTC（16,420 KB）
来源：arXiv cs.CL · arxiv.org