arXiv cs.CL· Fumiki Yohena, Toshiaki Sota, Shota Suzuki, Tomoko Okamoto, Michiaki Tatsubori·· 10 小时前AI 评分31
用仓库渲染参考图提升编码智能体的图像理解能力
Repository-Context-Guided Image Understanding for Agentic Software Development
AI 导读
研究提出为编码智能体补充由同一代码库渲染的清晰参考截图，帮助其在低分辨率、压缩失真或小字号文本的 UI 截图中定位相关界面元素与源文件。在基于 SWE-bench Multimodal 构建、向真实 Web 应用注入 UI 视觉缺陷的受控基准上，参考图在四倍下采样加 JPEG 压缩条件下提升了 gold file 匹配率，识别文本的准确率比语言偏置 OCR 高约 12 个百分点。
正文 · AI 翻译
摘要：编码智能体越来越多地在缺陷报告中收到 UI 截图，但图像质量下降——由低分辨率、压缩伪影或渲染文字过小导致——会妨碍它们识别相关的 UI 元素和源文件。随着图像质量下降，视觉语言模型变得不那么可靠，而 OCR 辅助方法可能会传播来自退化输入的识别错误。当定位所需的视觉证据在查询截图中已无法清晰观察时，这两种方法都受到限制。我们提出为编码智能体补充由仓库渲染的参考图像：从智能体所负责修改的同一代码库生成的清晰截图。这些参考图像提供了应用 UI 的可读视觉证据，同时保留了当前可能包含缺陷的实现状态。由于它们是从可用仓库生成的，而不需要已知的无缺陷版本，因此可以针对可复现的应用状态自动生成，无需人工图像标注。我们在一个基于 SWE-bench Multimodal 构建的受控基准上评估该方法，该基准通过向真实 Web 应用注入视觉 UI 缺陷而构建。我们改变截图退化程度和参考图像的提供情况，并测量编码智能体是否识别出正确的源文件。结果表明，参考图像改善了文件定位，尤其是在图像质量退化的情况下，在四倍下采样并施加 JPEG 压缩时提高了黄金文件匹配率。我们通过进一步分析确认，在相同退化条件下，所提方法对文字的识别比语言偏置的 OCR 高出约 12 个百分点。
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.13026 [cs.SE] |
| （或此版本的 arXiv:2611.13026v1 [cs.SE]） | |
| https://doi.org/10.48550/arXiv.2611.13026 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Michiaki Tatsubori [查看邮箱]
[v1]
2026年11月9日星期一 08:33:52 UTC（3,795 KB）
来源：arXiv cs.CL · arxiv.org