arXiv cs.CL· Wen Qiu, Jiacheng Zhang, Xuanda Chen, Siqi Cai, Haizhou Li·· 11 小时前AI 评分31
PhonoBridge：误差感知的音素中介 EMG 到文本重建框架
PhonoBridge: Error-Aware Phoneme-Mediated EMG-to-Text Reconstruction
AI 导读
PhonoBridge 是一个两阶段框架，由通道感知的 EMG 到音素前端与大语言模型后端组成，在 Open Vocabulary 静默语音数据集上实现 24.77% WER，优于此前同测试集最佳的 28.27%。
正文 · AI 翻译
摘要：肌电（EMG）提供了一种非侵入式手段，可将无声发音的语音解码为文本，但由于配对的 EMG-文本数据有限，准确解码仍具挑战性。我们提出 PhonoBridge，一个两阶段框架，包含通道感知的 EMG 到音素前端和用于文本重建的大语言模型（LLM）后端。前端在配对的 EMG-文本数据上训练，包括逐通道特征提取、跨通道融合和电极嵌入。以音素作为中间表示，我们通过将 LibriSpeech 转录文本转换为音素-文本对，在无需额外 EMG 录音的情况下扩展了后端的训练数据。为使 LLM 适应前端噪声，我们引入误差画像引导增强（EPGA），它根据从前端预测中估计的误差模式扰动转录文本导出的音素序列，为 LLM 生成额外的训练对。在 Open Vocabulary 无声语音数据集上，PhonoBridge 实现了 24.77% 的 WER，优于同一测试划分上先前报告的最佳结果 28.27%。
| 学科： | 声音（cs.SD）；计算与语言（cs.CL）；人机交互（cs.HC） |
| 引用为： | arXiv:2610.27678 [cs.SD] |
| （或 arXiv:2610.27678v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.27678 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wen Qiu [查看邮箱]
[v1]
2026年10月20日星期二 05:48:21 UTC（12,075 KB）
来源：arXiv cs.CL · arxiv.org