arXiv cs.AI· Shixiao Wang, Rining Wu, Jian K. Liu·· 10 小时前AI 评分18
BrainBind：将同步 EEG 与 fMRI 映射到长视频表征空间
BrainBind: Bridging Synchronized EEG and fMRI through Long-Form Naturalistic Video Representations
AI 导读
BrainBind 框架将同步采集的 EEG 与 fMRI 映射到冻结的长视频嵌入向量空间，并以该空间作为共享的视觉语义参照而非字面神经编码。在 CineBrain 数据集上，Omni 配置对 fMRI 的候选排序最强（MRR = 23.82，nDCG@10 = 25.31），Joint-Dual 取得最高平均标签感知 R@1（13.52%）。
正文 · AI 翻译
摘要：真实世界的视觉是动态且场景丰富的，而 EEG 和 fMRI 在互补的时间与空间尺度上对其进行解析。然而，大多数神经解码系统都孤立地对齐单一模态，且大多针对静态图像或短片段。我们研究同步情形：EEG 和 fMRI 在同一段长时自然观看过程中被记录，既提供了共享刺激，也带来了反复出现的叙事上下文和许多语义相似的候选。我们提出 BrainBind，一个将同步 EEG 和 fMRI 映射到冻结的长视频嵌入空间、并将这些空间视为共同视觉-语义参照（而非字面神经编码）的框架。在 CineBrain 上，跨两个视频锚点和四种系统配置的五种子 Recall@K 2 x 4 矩阵显示出不同的检索特征。使用 Omni 时，fMRI 对完整候选列表的组织最强（MRR = 23.82，nDCG@10 = 25.31），而 Joint-Dual 给出最高的平均标签感知 R@1（13.52%），并具有独特的全排名特征。互补的按片段不相交评估量化了重复刺激身份和叙事上下文对随机划分的贡献。在这些实验中，代理选择和系统配置在当前同步数据集内产生了不同的最高排名和全排名检索特征。代码可在 此 https URL 获取。
| 评论： | 已被 BMVC 2026 接收。26 页，4 幅图，包括补充材料。代码：此 https URL |
| 主题： | 人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2611.05581 [cs.AI] |
| （或 arXiv:2611.05581v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05581 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shixiao Wang [查看电子邮件]
[v1]
2026 年 11 月 3 日星期二 20:11:50 UTC（10,791 KB）
来源：arXiv cs.AI · arxiv.org