arXiv cs.AI· Jie Peng, Yongxue Shan, Yongfu Zha, Xiaodong Wang·· 10 小时前AI 评分18
MECI:面向多模态实体链接的多元素协同交互框架
MECI: Multi-Element Collaborative Interaction for Multimodal Entity Linking
AI 导读
研究提出多模态实体链接框架 MECI,通过多视图专家网络与 KL 引导路由机制解耦特征学习,缓解元素主导问题。其分层多模态交互模块用动态模态感知加权整合多粒度证据,并引入大语言模型做零样本重排序。在 WikiDiverse、RichpediaMEL 和 WikiMEL 上,Hits@1 分别提升 1.95%、7.30% 和 2.31%。
正文 · AI 翻译
摘要:多模态实体链接(MEL)旨在通过将多模态上下文中的提及项链接到知识库中的特定实体来消除其歧义。MEL 的一个关键挑战是捕获多层级对应关系:提及项-实体对之间的语义一致性以及跨模态的互补相关性。然而,现有方法往往因依赖耦合交互或粗粒度全局聚合而受到元素主导问题的影响。为此,我们提出了多元素协同交互(MECI)框架。首先,为了捕获多元素提及项-实体对应关系,我们开发了一个多视图专家网络,该网络利用“分而治之”策略进行解耦特征学习以缓解元素主导问题,并由一个 KL 引导的路由机制提供支持,该机制负责管理专家的专业化与协作。此外,为了建模跨模态互补相关性,我们提出了一个分层多模态交互模块,其中动态模态感知加权网络在分层语义层级上细化交互,从而整合多粒度证据以对抗元素主导问题。最后,我们引入了一个生成式语义细化阶段,利用大语言模型进行零样本重排序。在 WikiDiverse、RichpediaMEL 和 WikiMEL 上的大量实验表明,MECI 始终优于最先进的基线,Hits@1 分别提升了 1.95%、7.30% 和 2.31%。
| 评论: | 11 页,8 幅图 |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2611.24522 [cs.CL] |
| (或 arXiv:2611.24522v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24522 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Jie Peng [查看电子邮件]
[v1]
2026 年 11 月 18 日星期三 14:39:07 UTC(5,275 KB)
来源:arXiv cs.AI · arxiv.org