arXiv cs.CL· Gilad D. Landau, Dulhan Jayalath, Oiwi Parker Jones·· 10 天前AI 评分31
Brain2Semantics2Text：用语义表示实现非侵入式语音解码
The Semantic Bottleneck: Leveraging Semantic Representations for Non-Invasive Speech Decoding
AI 导读
Brain2Semantics2Text 通过中间语义嵌入空间重建文本，将句子级 MEG 响应映射到语义流形后再反演为自然语言，无需词级对齐即可恢复高层语义。该方法针对非侵入式神经记录信噪比低、难以细粒度重建音素或单词的问题，利用跨皮层分布且时间尺度更慢的高层语义表示作为解码目标，与既有非侵入式 Brain2Text 方法相比提升了句子级结果。
正文 · AI 翻译
摘要：非侵入式语音解码仍受限于神经记录的低信噪比，这使得对音素或单个词的细粒度重建变得困难。受神经科学证据的启发——高层语义表征分布于皮层区域，并在较慢的时间尺度上演变——我们假设，与低层声学或词汇特征相比，语义内容可能为非侵入式解码提供更合适的目标。我们提出 Brain2Semantics2Text，一种通过中间语义嵌入空间重建文本的方法。我们的模型将句子级 MEG 响应映射到语义流形，然后将预测的嵌入反演为自然语言。这一语义瓶颈使得无需词级对齐即可恢复高层含义。我们描述了该方法的核心原理、其实现，以及用于缓解学习可靠神经到语义映射这一挑战的策略。最后，我们与先前的非侵入式 Brain2Text 方法进行比较，并展示了句子级结果的改进。
| 评论： | 12 页，8 幅图 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2609.10296 [cs.CL] |
| （或 arXiv:2609.10296v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.10296 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Gilad Landau Mr [查看电子邮件]
[v1]
2026 年 9 月 9 日星期三 15:11:57 UTC（4,313 KB）
[v2]
2026 年 10 月 7 日星期三 13:33:46 UTC（4,313 KB）
来源：arXiv cs.CL · arxiv.org