arXiv cs.AI· Corentin Caris, Louis Jalouzot, Nona Rajabi, G\'eraud Ilinca, Ahmed Hassayoune, Asilbek Muminov, Thadd\'ee Delebarre, Clara Fonteneau, Charles Maussion, Bertrand Thirion, Alexis Thual, Antoine Collas·· 2 天前AI 评分27
NOEMA：用时间建模与多模态对齐从 fMRI 解码自然语音
Decoding Naturalistic Speech from fMRI with Temporal Modeling and Multimodal Alignment
AI 导读
NOEMA 是一种时间卷积解码器，将连续 fMRI 测量窗口与同一刺激片段的文本、音频、语音多模态嵌入对齐，实现直接从脑活动检索语音片段。在 Cephalonauts One 和 LeBel 两个自然语音数据集上，超过 42% 的留出查询能在 2000 个候选中将正确片段检索进前 10，显著优于基线解码器，且候选池加入数千个训练中未出现的干扰项后优势依然保持。
正文 · AI 翻译
作者：Corentin Caris、Louis Jalouzot、Nona Rajabi、Géraud Ilinca、Ahmed Hassayoune、Asilbek Muminov、Thaddée Delebarre、Clara Fonteneau、Charles Maussion、Bertrand Thirion、Alexis Thual、Antoine Collas
摘要：从大脑活动中重建一个人所感知的内容，是对神经记录是否携带有意义信息的严格检验。自然语音为这一挑战提供了丰富的测试平台：它跨越多个时间尺度展开，但 fMRI 测量噪声大、时间上被模糊化，使得这种结构难以恢复。我们提出 NOEMA，一种时间卷积解码器，它将连续的 fMRI 测量窗口与多模态刺激嵌入对齐。这些嵌入结合了同一刺激片段的互补文本、音频和语音表示，使其能够直接从大脑活动中被检索。在两个自然语音数据集 Cephalonauts One 和 LeBel 上，NOEMA 在 2,000 个候选中检索出正确片段，对于超过 42% 的留出查询，正确片段位于前 10 名之内。这大幅优于基线解码器，并且当候选池扩展加入数千个训练中未出现的干扰项时，这一优势依然保持。受控消融实验确立了时间建模和互补刺激表示的贡献。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.22049 [cs.LG] |
| （或 arXiv:2610.22049v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22049 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Antoine Collas [查看电子邮件]
[v1]
2026年10月15日星期四 15:17:15 UTC（1,435 KB）
来源：arXiv cs.AI · arxiv.org