arXiv cs.AI· Mingwei Fu, Zheshu Song, Zhikai Zhou, Shen Huang, Shidong Shang, Mengxiao Zhu·· 3 天前AI 评分23
ScreenASR-Bench：带视觉上下文的语音识别分层基准
ScreenASR-Bench: A Tiered Benchmark for Speech Recognition with Visual Context
AI 导读
研究者推出 ScreenASR-Bench，一个面向带视觉上下文语音识别的分层基准，包含显式文本证据（ETE）、显式视觉证据（EVE）和隐式语义证据（ISE）三个递进难度层级。
正文 · AI 翻译
摘要：当前 ASR 模型在通用基准上表现良好，但在声学上存在歧义的词上仍存在困难。视觉上下文有助于在基于屏幕的场景中提升识别效果，然而现有基准对不同类型的视觉证据所能带来的收益提供的洞见有限。为填补这一空白，我们提出了 ScreenASR-Bench，一个分层基准，包含三个难度递增的级别：显式文本证据（ETE），基于屏幕上的直接文本；显式视觉证据（EVE），使用可见内容而非屏幕文本；以及隐式语义证据（ISE），需要场景级推理。针对 ASR 模型、大型音频语言模型（LALM）和 Omni 模型的大量实验表明，融入视觉上下文在全部三个模型家族中都显著提升了相对于纯音频设置的召回率。增益在 ETE 上最大，在 ISE 上最小，表明模型利用直接视觉证据比利用间接语义线索更有效。为促进未来在视觉基础语音识别方面的研究，我们公开发布 ScreenASR-Bench。
| 评论： | 5 页 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.16260 [cs.AI] |
| （或 arXiv:2610.16260v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16260 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Zheshu Song [查看电子邮件]
[v1]
2026年10月12日星期一 06:36:20 UTC（5,228 KB）
来源：arXiv cs.AI · arxiv.org