arXiv cs.AI· Serwan Jassim, Victoria Bosch, Daniel Anthes, Elia Bruni, Tim Kietzmann·· 13 小时前AI 评分34
JEPA 自监督学习在感官诱发 fMRI 中产生跨被试可对齐表征
Latent Prediction Yields Cross-Subject Alignable Representations in Sensory-Evoked fMRI
AI 导读
研究者将联合嵌入预测架构（JEPA）适配为仅用脑数据训练的被试专属编码器，编码器从未接触刺激图像或其衍生表征。在 Natural Scenes Dataset（NSD）上，该自监督方法在脑描述生成与图像重建任务上达到与使用图像和语言数据端到端训练的富参数监督流程相当的性能。
正文 · AI 翻译
摘要：解码感觉诱发的功能磁共振成像（fMRI）数据是认知神经科学中的核心分析工具。在此，我们探究自监督学习（SSL）——该领域此前鲜有探索——能否产生支持强大下游性能的表征。为此，我们将联合嵌入预测架构（JEPA）加以改造，仅使用大脑数据训练参与者专属的编码器。这些编码器从未见过刺激图像或任何由图像衍生的表征。在自然场景数据集（NSD）上，我们在脑描述生成和图像重建这两个下游任务以及跨参与者泛化上评估了所学的大脑嵌入。我们的自监督方法取得了与参数丰富的监督式流程相竞争的性能，后者在训练时可端到端地访问图像和语言数据。我们进一步发现，为不同参与者独立训练的编码器可以完全无监督地对齐，既不使用图像，也不使用他们之间共享的刺激。对齐之后，在一个参与者上训练的神经解码头可以无需微调地应用于另一个参与者，并在图像重建和脑描述生成上保留了其大部分受试者内性能。通过消除对图像和共享刺激的需求，我们的方法朝着跨参与者汇集 fMRI 数据、并最终跨数据集汇集迈出了一步。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；神经元与认知（q-bio.NC） |
| 引用为： | arXiv:2610.40280 [cs.LG] |
| （或本版本的 arXiv:2610.40280v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2610.40280 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Serwan Jassim [查看电子邮件]
[v1]
2026年10月29日 星期四 15:33:41 UTC（20,289 KB）
来源：arXiv cs.AI · arxiv.org