arXiv cs.CL· Wonsup Shin, Jingu Kim·· 11 小时前AI 评分38
语料质量提升，检索效用未增：语音转问答流水线中预处理与精炼的消融研究
Corpus Quality Improves, Retrieval Utility Does Not: An Ablation of Preprocessing and Refinement in a Speech-to-QA Pipeline
AI 导读
一项消融研究将同一批 40 场韩语医疗与金融会议语音分别经预处理（转写重写）和精炼（问答对过滤）构建四份语料，语料自身质量随阶段开启而上升，四个 LLM 评审与六名人类领域专家排序一致，全精炼语料在 1-5 分制上领先 +0.18 和 +0.22。
正文 · AI 翻译
摘要：使用语言模型流水线构建训练语料的从业者，在开启预处理或精炼（后处理）阶段能提升语料质量时，会保留该阶段。我们消融了一条将会议语音转换为问答对的生产流水线。预处理阶段重写转录文本，精炼阶段过滤生成的问答对。分别开启和关闭每个阶段，从同样的 40 场韩语医疗和金融会议中得到四个语料库。在语料库本身上，随着各阶段开启，质量上升。四个 LLM 评判员和六位人类领域专家对四个语料库的排序相同，完全精炼的语料库在 1-5 分制上以 +0.18 和 +0.22 领先。然后我们追问这种增益是否能传递到下游。我们在推理时将每个语料库提供给六个模型，并测量检索准确率。排序并不成立。启用转录重写会使检索准确率降低 0.061，这是唯一在多重重比较校正后仍然显著的阶段效应。该阶段还会读取整个会话，因此几乎使单次会话的成本翻倍。两个阶段都开启时，准确率没有变化。我们事先声明的等价性检验证实了这一点。语料库本身显然很有价值。在我们测试的每个模型和领域中，它都将检索准确率从 0.231 提升到 0.748。其超过三分之一的问答对携带的知识，是两个前沿模型各自都无法独立产生的。在我们的数据上，零结果并非来自弱语料库。此类评分标准上不断上升的分数，并不能预测语料库能为模型带来什么。
| 评论： | 14 页，3 幅图，9 张表。代码和数据：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.27652 [cs.CL] |
| （或 arXiv:2610.27652v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.27652 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Wonsup Shin [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 05:11:32 UTC（101 KB）
来源：arXiv cs.CL · arxiv.org