arXiv cs.CL· Mingzhe Lu, Jinhao Liu, Yunpeng Li, Hang Su, Lichun Fan, Jian Luan·· 2 天前AI 评分18
SITAR：面向自动语音识别评估的情境失真度量
SITAR: A Situational Distortion Metric for Automatic Speech Recognition Evaluation
AI 导读
研究者提出 SITAR，一种面向自动语音识别（ASR）的情境失真度量，通过有界递归公式将情境严重度与累积范围聚合为统一分数，并训练为轻量级 BERT 家族回归器，单次前向传播即可为参考-假设对打分，无需运行时高昂成本。验证涵盖宏观与微观层面的外在效度及评分器内在可靠性，显示 SITAR 能跟踪模型能力扩展并提供正交诊断价值。完整代码、模型权重与数据集将在内部评审后发布。
正文 · AI 翻译
摘要：在自动语音识别（ASR）中，词汇或语义上相似的转录错误可能对语音所传达的情境产生截然不同的后果。捕捉这些差异不仅需要上下文评估，还需要理解所说话语描述、确立或试图促成什么。然而，依赖 LLM 评判会带来计算成本和评分波动性。我们提出 SITAR，一种用于 ASR 的情境失真度量，通过一个全面的端到端构建框架实现。具体而言，该框架通过有界递归公式将情境严重程度和累积范围聚合为统一分数。利用在有限离线 LLM 支持下从该公式导出的目标，我们将 SITAR 训练为一个轻量级 BERT 系列回归器，可在单次前向传播中对参考-假设对进行评分，完全无需任何高昂的运行时成本。认识到引入新度量需要严格论证，我们形式化了一个原则性验证协议，涵盖外部效度（在宏观和微观层面评估）和内在评分器可靠性。前者在多样化数据集和模型上评估，表明 SITAR 能可靠地跟踪广泛的能力扩展，同时提供正交的诊断效用；而后者在专门构建的受控基准上检验，确认了评分工具本身的操作合理性。通过系统验证，我们证明 SITAR 作为现有 ASR 度量的实用、轻量级补充具有强大潜力。我们将在内部审查后发布完整配方（代码、模型权重、数据集等），以支持社区研究。
| 评论： | 33 页，4 幅图，包括附录 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.21440 [cs.CL] |
| （或 arXiv:2610.21440v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21440 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Mingzhe Lu [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 07:48:03 UTC（901 KB）
来源：arXiv cs.CL · arxiv.org