arXiv cs.AI· Shiran Liu, Gaohui Xu, Sergio Burdisso, Thibault Ba\~neras-Roux, Shashi Kumar, Petr Motlicek·· 3 天前AI 评分23
选择还是重写：面向生成式 ASR 后编辑的 Oracle 引导微调
Select or Rewrite: Oracle-Guided Fine-Tuning for Generative ASR Post-Editing from N-Best Hypotheses
AI 导读
研究者提出 oracle 引导微调方法，将 ASR 的 N-best 候选列表构建为三类监督数据——纠错池（正确答案在列表中但非 top-1）教模型选择、正则化池（top-1 已正确）抑制多余改写、困难负样本池（答案不在列表中）抑制幻觉，从而学习"选择或重写"的混合策略。
正文 · AI 翻译
摘要：大型语言模型可以通过利用语言上下文比较 N-best 假设，并在需要时重写转录文本，从而对 ASR 进行后编辑，通常无需重新训练识别器即可提升 WER。然而，仅靠提示进行纠错较为脆弱：当 top-1 正确时可能过度编辑，当参考文本缺失时可能产生幻觉，并且通常需要非常大的模型。我们提出 oracle 引导的微调方法，通过三个精心构建的池将 N-best 列表转化为监督信号：纠错（参考文本在列表中但不在 top-1）用于教授选择，正则化项（top-1 正确）用于抑制不必要的重写，以及困难负样本（参考文本缺失）用于抑制幻觉。在此数据上进行微调，相比随机子集微调，能为学习混合式选择或重写策略提供更有效的监督；在专有数据集上，从约 3B 参数开始收益最为明显，但在 CommonVoice 上结果不太确定，这种差异表明公开朗读语音文本可能与 LLM 预训练数据重叠，从而掩盖了真实的后编辑收益。
| 评论： | 7 页，4 幅图，2 个表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.15056 [cs.CL] |
| （或 arXiv:2610.15056v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15056 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Shiran Liu [查看邮箱]
[v1]
2026年10月10日星期六 16:48:27 UTC（383 KB）
来源：arXiv cs.AI · arxiv.org