arXiv cs.AI· Xuan Wen, Yonghao Song, Yuhong Zhang, Guoliang Li, Tzyy-Ping Jung, Xiaorong Gao·· 6 天前AI 评分22
用语言监督神经解码：LaS 让文本描述成为神经解码的通用参照
Teaching neural decoders with language
AI 导读
研究提出 Language as Supervision（LaS），通过学习到的投影将神经特征与自然语言类别描述对齐，并用候选文本原型进行分类。在视觉、运动与语音解码的七种编码器架构上，LaS 将语音解码准确率较匹配的 CLS 基线最高提升 17.15 个百分点，并支持候选集复用与标签监督的受试者、会话适配。
正文 · AI 翻译
摘要：脑机接口能够解码神经活动，但类别标签监督（CLS）使类别之间的关系保持隐含。我们提出语言作为监督（LaS），它通过学习到的投影将神经特征与自然语言类别描述对齐，并使用候选文本原型预测类别。我们评估了七种编码器架构，使用独立训练的模型，从头皮和颅内记录中进行视觉、运动和语音解码。与匹配的 CLS 基线相比，LaS 将语音解码准确率最多提升 17.15~pp。其表示支持候选集复用以及标签监督的受试者和会话自适应，同时 LaS 能够在稳态视觉诱发电位（SSVEP）响应中实现条件性的未见频率解码。正确的类别描述对应关系支持这种泛化，双侧归因可视化显示了神经和文本对同一类别匹配分数的贡献。这些发现表明，文本描述可以作为神经解码中学习和解释的通用参考。
| 评论： | 14 页，8 幅图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.12921 [cs.AI] |
| （或 arXiv:2610.12921v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12921 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yonghao Song [查看电子邮件]
[v1]
2026 年 10 月 9 日星期五 03:12:42 UTC（8,275 KB）
来源：arXiv cs.AI · arxiv.org