arXiv cs.AI· Bui Van Hung, Dang Thanh Vu, Hoang-Son Vo, Mai Duc Minh Huy, Mai Tien Dung, Soo-Hyung Kim·· 3 天前AI 评分26
StimFlow:通过刺激条件流匹配从图像合成脑活动
StimFlow: Synthesizing Brain Activity from Images via Stimulus-conditioned Flow Matching
AI 导读
StimFlow 用条件流匹配在原生体素空间直接合成 fMRI 响应,单样本即达到 0.371 的逐体素 Pearson 相关,与平均五次采样的基线相当。该方法结合 DINOv2 结构特征与 CLIP 语义特征,无需解码器即可做 ROI 分析和概念定位,并仅用一小时扫描数据就恢复到全量数据一半以上的性能,支持高效的跨被试适配。
正文 · AI 翻译
摘要:fMRI 响应在试次间的固有变异性促使人们以生成式视角看待刺激到响应的映射。此前的生成式编码器通常在压缩的潜在空间中运行,并主要依赖语义特征,这为早期视觉皮层提供的低级线索有限。我们提出 StimFlow,它使用线性路径的条件流匹配,直接在原生体素空间中合成 fMRI。这一设计对齐了训练和推理分布,使其在单样本下即可获得有竞争力的性能,并减少对平均化的依赖。为匹配视觉层级,StimFlow 将结构性的 DINOv2 特征与语义性的 CLIP 特征相结合,二者在皮层处理通路上被证明具有互补性。在单样本下,StimFlow 达到 0.371 的逐体素皮尔逊相关,与平均五次采样的基线相当。在体素空间中进行生成允许直接进行 ROI 分析和概念定位,而无需解码器。此外,它仅用一小时的扫描数据即可恢复超过一半的全数据性能,支持高效的跨被试适应。
| 学科: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2610.15341 [cs.CV] |
| (或 arXiv:2610.15341v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.15341 arXiv 颁发的 DOI 经由 DataCite(待注册) |
提交历史
来自:Van Hung Bui [查看电子邮件]
[v1]
2026年10月11日星期日 04:45:03 UTC(5,151 KB)
来源:arXiv cs.AI · arxiv.org