跳到正文
arXiv cs.AI· Wenjiang Zhang, Sifeng Wang, Yuwei Su, Xinyu Li, Chen Zhang, Suyu Zhong·· 13 小时前AI 评分31

NeuroBridge:基于认知先验与双向语义对齐的自监督 EEG 到图像解码

NeuroBridge: Bio-Inspired Self-Supervised EEG-to-Image Decoding via Cognitive Priors and Bidirectional Semantic Alignment

AI 导读

自监督架构 NeuroBridge 通过认知先验增强(CPA)与共享语义投影器(SSP)实现 EEG 到图像的双向语义对齐,在 200 类零样本检索任务中,被试内场景 top-1 准确率提升 12.3% 至 63.2%,top-5 提升 10.2% 至 89.9%。该方法在被试内与被试间设置下均超越此前 SOTA,论文已被 AAAI 2026 接收。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:视觉神经解码旨在从大脑活动模式中重建或推断所感知的视觉刺激,为理解人类认知提供关键洞见,并在脑机接口和人工智能领域带来变革性应用。然而,当前方法仍受限于高质量刺激—大脑响应配对数据的稀缺,以及神经表征与视觉内容之间固有的语义失配。受生物系统感知变异性和协同适应策略的启发,我们提出了一种名为 NeuroBridge 的新型自监督架构,它将认知先验增强(CPA)与共享语义投影器(SSP)相结合,以促进有效的跨模态对齐。具体而言,CPA 通过对 EEG 信号和图像施加非对称的、模态特定的变换来模拟感知变异性,从而增强语义多样性。与以往方法不同,SSP 通过协同适应策略建立双向对齐过程,将两种模态的特征相互对齐到共享语义空间中,以实现有效的跨模态学习。NeuroBridge 在被试内和被试间两种设置下均超越了此前的最先进方法。在被试内场景中,它在 top-1 准确率上提升 12.3%,在 top-5 准确率上提升 10.2%,在 200 类零样本检索任务上分别达到 63.2% 和 89.9%。大量实验证明了所提出框架在神经视觉解码中的有效性、鲁棒性和可扩展性。
评论: AAAI 2026
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2511.06836 [cs.CV]
  (或本版本的 arXiv:2511.06836v2 [cs.CV])
  https://doi.org/10.48550/arXiv.2511.06836

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Wenjiang Zhang [查看邮箱]
[v1] 2025年11月10日 星期一 08:29:09 UTC(1,806 KB)
[v2] 2026年10月29日 星期四 10:30:33 UTC(2,057 KB)

来源:arXiv cs.AI · arxiv.org