arXiv cs.AI· Manyu Li, Ruian He, Chenxi Ma, Weimin Tan, Bo Yan·· 14 小时前AI 评分34
MicroWorld：用多模态属性图弥合 MLLM 的微观领域差距
MicroWorld: Empowering Multimodal Large Language Models to Bridge the Microscopic Domain Gap with Multimodal Attributed Property Graph
AI 导读
MicroWorld 提出一种无需领域微调的结构化知识增强框架，通过多模态属性属性图（MAPG）为 MLLM 注入显微领域知识，图含约 106K 节点和 2.62M 条类型化边。
正文 · AI 翻译
摘要：多模态大语言模型（MLLMs）在科学推理方面展现出显著潜力，但在显微镜等专业领域，其性能仍受限于领域特定训练数据的稀缺以及将细粒度专家知识编码到模型参数中的困难。为弥合这一差距，我们提出了 MicroWorld，一个基于多模态属性属性图（MAPG）的结构化知识增强框架，并配有互补的视觉检索路径，无需领域特定微调。MicroWorld 通过 scispaCy 或基于 LLM 的三元组挖掘提取生物医学实体和关系，使用 Qwen3-VL-Embedding 在共享嵌入空间中对齐图像和实体，并构建了一个包含约 106K 个节点和 2.62M 条类型化边、涵盖八种关系类别的知识图谱。在推理时，图增强检索流水线将查询实体与 MAPG 匹配，并将结构化知识上下文注入 MLLM 提示中。在 MicroVQA 上，MicroWorld 将 Qwen3-VL-8B-Instruct 的准确率从 48.8% 提升至 67.1%（+18.3 个百分点；相对提升 37.5%），超过了零样本 GPT-5（59.4%）。相同的检索上下文将 GPT-5 提升至 71.5%，而 GPT-5 自身的实体提取达到 73.3%。在 MicroBench 上，8B Single-Pass 将整体准确率提升了 4.0 个百分点。这些收益在知识密集型推理中最为显著；细粒度视觉判别以及额外视觉路径的贡献仍然有限。代码及相关资源：此 https URL。
| 评论： | 31 页，14 幅图 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| MSC 分类号： | F.2.2, I.2.7 |
| 引用为： | arXiv:2605.10120 [cs.CV] |
| （或 arXiv:2605.10120v2 [cs.CV] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.10120 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Manyu Li [查看电子邮件]
[v1]
2026 年 5 月 11 日星期一 07:35:55 UTC（1,409 KB）
[v2]
2026 年 10 月 25 日星期日 09:12:01 UTC（2,756 KB）
来源：arXiv cs.AI · arxiv.org