arXiv cs.CL· David Porte\v{s}, Ale\v{s} Hor\'ak·· 9 天前AI 评分25
Prosody-to-Text：从低通滤波语音预测文本
Prosody-to-Text: Predicting text from low-pass filtered speech
AI 导读
研究者提出"韵律到文本"任务，用仅保留 12 个最低 Mel 频段（约 450Hz 低通滤波）的语音微调 Whisper，从韵律模式中恢复原始句子，取得 WER 36% 的结果，10% 的语句被完全还原，40% 的语句 WER 不高于 25%。在给定正确前缀时，下一个 token 的预测准确率为 79%。结果表明低频语音特征与词汇内容的关联比此前认为的更强，或可用于引导现代 LLM 的文本生成。
正文 · AI 翻译
摘要：虽然从文本预测韵律在该领域已是一项成熟的任务，但相反的方向——预测符合给定韵律模式的文本——却基本被忽视。我们认为这很可惜，因为这一相反方向可能带来一些非常有趣的应用场景。因此，在本文中，我们通过研究能从韵律模式中恢复多少原始句子，迈出了从韵律到文本方向的第一步。为此，我们仅使用最低的 12 个 Mel 频段（截止频率约为 450Hz 的低通滤波器）对 Whisper 模型进行微调，并获得了出奇准确的结果（WER 36%），其中 10% 的话语被完美恢复，40% 的话语词错误率在 25% 或以下。我们还发现，在给定正确前缀的情况下，下一个 token 在 79% 的情况下被正确预测。我们的结果表明，低频语音特征与词汇内容之间的关系比之前认为的要强得多，我们相信，将更多注意力引向这一主题可能会为新的应用打开大门，例如利用韵律引导现代 LLM 的文本生成
| 评论： | 本工作已提交至 IEEE 以供可能的发表。版权可能未经通知即被转让，此后本版本可能不再可访问 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.11544 [cs.CL] |
| （或 arXiv:2610.11544v1 [cs.CL] 用于本版本） | |
| https://doi.org/10.48550/arXiv.2610.11544 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：David Porteš [查看电子邮件]
[v1]
2026年10月8日星期四 09:12:02 UTC（496 KB）
来源：arXiv cs.CL · arxiv.org