arXiv cs.CL· Zehui Feng, Weichuan Wang, Xiaohan Chen, Cuntai Guan, Ting Han·· 11 小时前AI 评分37
语音脑机接口需要更大模型吗？BEST 框架用 3.85% 参数实现更低 WER
Do Speech BCIs Need Larger Models? Rethinking Neural Decoding beyond Scaling
AI 导读
BEST（Brain-Encoding-Speech-Text）两阶段框架在 Brain-to-Text '24 和 '25 基准上分别取得 6.19% 和 1.62% 的词错误率，仅需同类方法 3.85% 的参数量。该框架用分层中间表示和紧凑语音解码器直接将神经活动映射为文本，避免大型生成模型与音素中心流水线。研究还指出解码器扩展收益非单调、跨模态对齐比模型规模更关键、过拟合会损害序列级性能。
正文 · AI 翻译
摘要：近期语音脑机接口（BCI）日益依赖大模型和复杂的多阶段流程进行神经解码。然而，在语音 BCI 中，训练数据稀缺、含噪且采集成本高昂，模型规模扩展带来的收益仍不明确。本工作重新审视一个根本性问题：准确神经解码是否真的需要大模型？我们提出 BEST（Brain-Encoding-Speech-Text），一个用于高效神经到文本解码的两阶段框架。BEST 不依赖大型生成模型或以音素为中心的流程，而是引入分层中间表示和一个紧凑的语音导向解码器，直接将神经活动映射为文本。该设计保留了关键结构，同时显著降低计算成本，从而在低资源环境下实现稳健泛化，并支持资源受限条件下的实际部署。在 Brain-to-Text '24 和 '25 基准上，BEST 分别取得 6.19% 和 1.62% 的词错误率（WER），仅使用同类方法所需参数的 3.85%。除上述结果外，我们提供三点关键洞见：（1）解码器规模扩展带来非单调增益；（2）跨模态对齐比模型规模更关键；（3）过拟合会降低序列级性能。表示分析进一步揭示了一致的神经-音频-文本对齐通路。
| 评论： | 25 页，已被 NeurIPS 2026 接收为主会论文 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.23175 [cs.CL] |
| （或 arXiv:2610.23175v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.23175 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zehui Feng [查看邮箱]
[v1]
2026年10月16日星期五 09:12:58 UTC（8,020 KB）
来源：arXiv cs.CL · arxiv.org