arXiv cs.AI· Slimane Larabi·· 3 天前AI 评分18
超越黑盒：面向文本嵌入的视觉接地
Beyond Black Boxes: Visual Grounding for Text Embeddings
AI 导读
研究者提出一种基于草图的视觉接地框架，将文本表示转换为视觉地形草图，以可视化文本嵌入并探索其在信息检索与推理中的潜力。在 MS-COCO 数据集上的评测显示，SBERT 在严格 top-1 检索准确率上仍占优，但在 top-5 检索上与草图方法表现相当。将 SBERT 与草图方法级联后优于单独使用 SBERT，表明草图表示若直接在文本上训练，或对信息检索有显著潜力。
正文 · AI 翻译
摘要：在本文中，我们的目标是将文本嵌入表示为草图，主要有三个原因。第一，可视化文本表示并探索其在 AI 可解释性方面的潜力。第二，研究基于草图的表示在信息检索中的潜在优势。第三，从心理意象的概念中汲取灵感，探索其在推理方面的潜力。我们提出了一个基于草图的视觉 grounding 框架，将文本表示转换为视觉地形草图。我们的方法旨在通过相应的草图强调文本嵌入中编码的语义内容。
在 MS-COCO 数据集上进行了评估，以检验这些草图在文本检索中的效用。SBERT 与基于草图方法的对比研究表明，SBERT 在严格的 top-1 检索准确率上仍具优势，而在 top-5 检索中与基于草图的方法性能相当。将 SBERT 与基于草图方法相结合的级联方法优于单独使用 SBERT，这表明如果直接在文本上训练，基于草图的表示可能为信息检索提供巨大潜力。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.18047 [cs.AI] |
| （或 arXiv:2610.18047v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18047 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Slimane Larabi [查看电子邮件]
[v1]
2026年10月13日星期二 09:37:27 UTC（1,648 KB）
来源：arXiv cs.AI · arxiv.org