arXiv cs.CL· Zhiheng Qian, Junhao Du, Jing Peng, Hanqi Li, Kunyang Peng, Feng Xue, Kai Yu·· 11 小时前AI 评分20
ETC-Bench：面向评测侧转写文本规范化的多语言基准
ETC-Bench: A Multilingual Benchmark for Evaluation-Side Transcript Canonicalization
AI 导读
ETC-Bench 是首个面向评测侧转写文本规范化（ETC）的多语言基准，覆盖 12 种语言、181 种现象类型，每个实例为仅目标片段存在差异的最小对比对。研究同时提出 SENA 指标，结合独立规范化后的一致性精确匹配与 pair-relative BERTScore 约束来评估语义保持。基于该分类体系构建的 TACS 智能体在共享语言上优于五个基线配置。
正文 · AI 翻译
摘要：同一语音的书面转写可能以并非由语音信号唯一确定的方式存在差异。我们提出评估侧转写规范化（ETC），当多个表面形式之间的差异并非由语音决定时，将其映射为单一规范形式。据我们所知，ETC-Bench 是首个也是目前最全面的评估侧转写规范化多语言基准，涵盖 12 种语言中的 181 种现象类型。每个实例是一个最小对，共享同一句子上下文，仅在体现某一现象的目标片段上不同。为同时评估规范化成功与语义保持，我们提出语义保持精确匹配规范化准确率（SENA），它将独立规范化后的对成员之间的精确一致性，与针对信息损失的相对对 BERTScore 约束相结合。我们进一步引入分类引导的智能体规范化技能（TACS），为 LLM 智能体提供现象描述和明确的规范化契约。使用五种基线配置和三个基于 TACS 的智能体进行的实验表明，这些智能体在共享语言上优于基线系统。ETC-Bench 为跨语言的评估侧转写规范化提供了系统化的测试平台。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.36527 [cs.CL] |
| （或 arXiv:2610.36527v1 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.36527 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhiheng Qian [查看邮箱]
[v1]
2026年10月27日 星期二 02:33:53 UTC（116 KB）
来源：arXiv cs.CL · arxiv.org