arXiv cs.AI· Jaeseong Lee, Jinwoo Kim, Jinho Jeong, Seon Joo Kim·· 1 天前AI 评分38
研究：文本感知图像超分辨率需要推理能力，RTC 免训练插件可提升效果
Reading the Unreadable: Text-Aware Image Super-Resolution Needs Reasoning
AI 导读
研究提出 ReasonText 基准与 GTTCA 指标，评估十二个近期超分辨率模型后发现，它们在需要推理的退化文本上性能一致且大幅下降。为此提出免训练插件 RTC，用外部 MLLM 推断退化文本并将生成的描述输入文本条件 SR 模型，使评估的六个文本条件 SR 模型全部获得提升。
正文 · AI 翻译
摘要：文本感知图像超分辨率（TAISR）旨在从低分辨率输入中恢复高分辨率图像，同时保留文本内容。现有方法将其视为视觉恢复问题，但严重退化的文本往往无法仅凭局部视觉证据读取。人类则通过推理图像上下文、逻辑模式和先验知识来读取。这引出了一个根本性问题：TAISR 需要推理吗？为回答这一问题，我们引入了两个诊断工具。第一个是 ReasonText，一个由人工整理的基准，将需要推理的文本与可局部恢复的文本区分开来。第二个是 Ground-Truth Text-Crop Accuracy（GTTCA），一种基于识别的指标，可在无文本检测错误的情况下衡量文本恢复质量。评估十二个近期超分辨率（SR）模型后，我们发现需要推理的文本上存在一致且显著的性能下降，揭示出一个系统性盲点。两项观察指向一种补救方法。其一是，文本条件 SR 模型在给定真实文本时能显著更好地恢复文本。其二是，多模态大语言模型（MLLM）可以通过推理读取低分辨率图像中退化的文本。因此，我们提出通过描述进行推理迁移（RTC），一种免训练的插件，使用外部 MLLM 推断退化文本，并将生成的描述输入文本条件 SR 模型。RTC 在我们评估的全部六个文本条件 SR 模型上均带来一致提升，尤其是在需要推理的文本上。令人惊讶的是，带有 RTC 的真实世界 SR 模型甚至能超越带有 RTC 的 TAISR 模型，这表明推理应成为未来 TAISR 的核心设计轴。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.15449 [cs.CV] |
| （或 arXiv:2611.15449v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.15449 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jaeseong Lee [查看邮箱]
[v1]
2026年11月11日星期三 13:19:01 UTC（4,682 KB）
来源：arXiv cs.AI · arxiv.org