arXiv cs.CL· Giuseppe Attanasio, Beatrice Savoldi, Daniel Chechelnitsky, Matteo Negri, Marine Carpuat, Maarten Sap, Andr\'e F. T. Martins·· 3 天前AI 评分27
Ouvia：面向真实沟通场景的语音翻译可用性评估框架
Ouvia: A User-centered Framework for Measuring Usability of Speech Translation in Real-World Communication Scenarios
AI 导读
研究团队提出 Ouvia，一个以用户为中心、衡量真实场景语音翻译可用性的评估框架，通过定制 Web 应用收集了 1,750 余次英译葡一对一沟通交互，覆盖医疗与日常场景、四套 ST 系统、三种英语口音和两种性别。结果显示仅约一半交互被评为可用，且不同人群间可用性差距显著；在各类质量指标中，基于 QA 的评估对真实可用性的预测能力明显强于标准方法。
正文 · AI 翻译
摘要：语音翻译（ST）在用户应用中日益普及，但其评估主要集中于去语境化的测试平台和整体质量，而非终端用户的沟通需求。我们提出 Ouvia，一个用于衡量真实场景中语音翻译输出用户感知可用性的评估框架。Ouvia 聚焦于一对一沟通：一位英语使用者需要向一位葡萄牙语使用者传达请求，消息被自动翻译。通过定制的网络应用和多阶段研究设计，我们在医疗保健和日常情境中收集了超过 1,750 次此类交互，由四个 ST 系统作为中介，涉及三种英语方言和两种性别的使用者。我们发现，现代 ST 仅在有限程度上服务于人——只有约一半的交互被评为可用——且不同人口群体报告的可用性存在显著差距。此外，在质量指标中，我们发现基于 QA 的评估比标准方法更能显著预测真实世界的可用性。总之，这些发现强调了情境化、以用户为中心的评估框架的重要性，这些框架超越整体质量分数，关注技术服务于谁——以及服务得有多好。
| 评论： | 代码和数据见 此 https URL —— 已被 EMNLP 2026 接收 |
| 主题： | 计算与语言（cs.CL）；人机交互（cs.HC） |
| 引用为： | arXiv:2606.06177 [cs.CL] |
| （或 arXiv:2606.06177v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.06177 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Giuseppe Attanasio [查看电子邮件]
[v1]
2026年6月4日星期四 13:52:21 UTC（221 KB）
[v2]
2026年10月14日星期三 16:56:04 UTC（229 KB）
来源：arXiv cs.CL · arxiv.org