arXiv cs.AI· Xuanhua Yin, Runkai Zhao, Lina Yao, Weidong Cai·· 10 小时前AI 评分29
BrainVista：以多模态下一 token 预测建模自然大脑动态
BrainVista: Modeling Naturalistic Brain Dynamics as Multimodal Next-Token Prediction
AI 导读
BrainVista 是一个多模态自回归框架，可从脑活动历史与时间对齐的刺激 token 预测未来 fMRI 状态，无需访问未来真实脑状态即可实现自回归预测。
正文 · AI 翻译
摘要：自然主义 fMRI 为连续多模态体验中的皮层动态提供了一个时间分辨的窗口，其中未来的大脑状态由内源性神经背景和外源性感觉驱动共同决定。然而，预测此类动态仍然具有挑战性，因为快速变化的刺激流必须与缓慢的血流动力学 BOLD 响应相协调，而皮层活动又组织在功能异质的脑网络中。为应对这些挑战，我们提出了 BrainVista，一个用于观测刺激条件下大脑状态预测的多模态自回归框架。BrainVista 根据大脑活动历史和与每个预测查询在时间上对齐的刺激 token 来预测未来的 fMRI 状态，从而能够在无法获取未来真实 fMRI 状态的情况下进行自回归预测。递归展开提供了在持续感觉输入下对大脑状态演化的运行内预测测试。具体而言，我们结合了用于功能结构化大脑表示的网络级 Tokenizer、用于跨网络交互细化的空间混合头，以及刺激到大脑（S2B）掩码，以在保持时间因果的刺激-大脑条件作用的同时，防止未来大脑状态泄漏和刺激前瞻。我们在 Algonauts 2025、CineBrain 和 HAD 这三个大规模自然主义 fMRI 基准上，在长时程条件自回归预测下评估了 BrainVista。BrainVista 始终优于基线，在 Algonauts 2025 和 CineBrain 上，相对于最强基线，模式相关性分别提高了 10.8% 和 9.4%。代码可在 此 https URL 获取。
| 评论： | 被 NeurIPS 2026 接收。46 页，8 张图，58 张表 |
| 主题： | 神经元与认知（q-bio.NC）；人工智能（cs.AI） |
| 引用为： | arXiv:2602.04512 [q-bio.NC] |
| （或 arXiv:2602.04512v2 [q-bio.NC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.04512 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Xuanhua Yin [查看电子邮件]
[v1]
2026 年 2 月 4 日星期三 13:00:06 UTC（6,090 KB）
[v2]
2026 年 11 月 10 日星期二 09:46:37 UTC（3,329 KB）
来源：arXiv cs.AI · arxiv.org