arXiv cs.CL· Wonsup Shin, Jingu Kim·· 10 小时前AI 评分32
语音转 SFT 数据流水线的因子消融：数据质量与下游迁移的差异化影响
A Factorial Ablation of a Speech-to-SFT Pipeline: Differential Effects on Data Quality and Downstream Transfer
AI 导读
一项针对语音转 SFT 数据流水线的 2x2 因子消融实验发现，在固定标准 SFT 配方下，QA 数据质量的提升并不会均匀转化为下游 MCQA 收益。研究用韩国医疗与金融会议录音生成 QA 数据并微调 9 个模型（5 个 LLM 家族，2.4B-70B），4 个 LLM 评审的质量评分持续上升，但跨模型平均 MCQA 增益不显著，正向迁移集中在家族与领域对齐的模型组合上。
正文 · AI 翻译
摘要：通过多阶段精炼将语音转化为监督微调（SFT）数据的行业流水线正日益被采用，但据我们所知，尚未有公开研究对其各阶段进行逐阶段消融，导致每个阶段的边际价值未知。我们设计了一条可投入生产的语音到 SFT 流水线，其中转录精炼（阶段 0）与 SFT 数据质量精炼（阶段 2）可独立开关，形成 2x2 析因设计。对于每种条件，我们从韩语医疗与金融会议录音中生成问答形式的 SFT 数据，并微调 9 个模型（5 个 LLM 系列，2.4B-70B）；我们使用四个跨提供商的 LLM 评判器、一次盲测的六专家人工评估以及三个下游 MCQA 基准进行评估。我们的核心发现是，在固定的标准 SFT 配方下，问答数据质量的提升并不会均匀地转化为下游 MCQA 的增益。4 评判器质量持续上升，但跨模型平均 MCQA 增益并不显著；正向迁移集中在家族-领域对齐的配对上。全部六位人工评分者均报告全流水线质量更高，印证了 LLM 评判器的方向。将 STT 引擎替换为 Whisper-medium 证实了流水线的稳健性。一项 LLM 难度审计显示，两个前沿 LLM 平均对约 8% 的问答给出未知；我们发布了样本、提示词、代码以及所有 SFT 检查点。
| 评论： | 20 页，2 幅图；v2：新增了一项评估提示格式分析，并删除了一项缺乏支持的论断 |
| 主题： | 声音（cs.SD）；计算与语言（cs.CL） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2608.20394 [cs.SD] |
| （或本版本的 arXiv:2608.20394v2 [cs.SD]） | |
| https://doi.org/10.48550/arXiv.2608.20394 由 DataCite 签发的 arXiv DOI |
提交历史
来自：Wonsup Shin [查看邮箱]
[v1]
2026 年 7 月 1 日星期三 03:11:59 UTC（306 KB）
[v2]
2026 年 11 月 10 日星期二 12:21:57 UTC（305 KB）
来源：arXiv cs.CL · arxiv.org