arXiv cs.AI· Bui Van Hung, Hoang-Son Vo, Mai Duc Minh Huy, Dang Thanh Vu, Soo-Hyung Kim·· 3 天前AI 评分22
MultiFlow：基于刺激感知源流匹配的视觉驱动多模态 fMRI 编码
MultiFlow: Vision-Driven Multimodal fMRI Encoding via Stimulus-Informed Source Flow Matching
AI 导读
MultiFlow 是一个基于条件流匹配（CFM）的生成式 fMRI 编码框架，提出 Stimulus-Informed Source Flow Matching（SISFM），用可学习时间卷积和方差头将源分布以刺激为条件，缩短期望传输路径。
正文 · AI 翻译
摘要：当前的 fMRI 编码模型将预测视为确定性回归，然而相同的刺激会引发一个神经响应分布（源于生理噪声、血流动力学变异和认知波动），这是单一的点估计无法捕捉的。本工作提出了 MultiFlow，一个基于条件流匹配（CFM）的生成式 fMRI 编码框架，以及一种称为刺激知情源流匹配（SISFM）的公式。SISFM 通过将源分布以刺激为条件来推广 CFM：一个可学习的时间卷积以 HRF 长度的感受野塑造源均值，而一个方差头缩小其尺度，从而缩短期望传输路径。SISFM 使用一个参数化速度场的 Diffusion Transformer（DiT-X）解码器实例化，具有子层注意力残差、十个冻结的视觉、音频、语言和视听骨干网络的异构融合，以及每个受试者的 Yeo 网络头。在 Algonauts 2025 数据集上，单个 MultiFlow 检查点恢复了大型确定性集成的大部分收益：在分布内以 0.003 PCC 落后于 1000 模型 TRIBE 集成（0.3163 对 0.3195），并以 0.010 和 0.009 PCC 落后于最强的分布内和分布外集成（VIBE-20、MedARC-50），仅使用单个训练模型而非 20-1000 的集成。同一检查点还提供刺激条件的不确定性估计和基于样本的多样性。
| 评论： | 17 页，7 幅图，7 张表。已被 2026 年英国机器视觉会议（BMVC）接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.15339 [cs.AI] |
| （或 arXiv:2610.15339v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15339 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Van Hung Bui [查看电子邮件]
[v1]
2026 年 10 月 11 日星期日 04:33:44 UTC（2,226 KB）
来源：arXiv cs.AI · arxiv.org