arXiv cs.CL· Sunjae Kwon, Suhaas Kiran DG, Zonghai Yao, Talha Chafekar, Deepali Singh, Hong Yu·· 11 小时前AI 评分27
SAGE：面向多模态语义对齐的释义增强推理评测基准
SAGE: Sense-Aligned Multimodal Grounding Evaluation with Gloss-Augmented Reasoning
AI 导读
研究者提出 SAGE，一个统一的 10 候选图像选择基准，将 VWSD、VerSe 和 WikiDiverse 重构为共享的以术语为中心的评测协议，覆盖名词、动词和实体三类语义对齐，并包含易混淆硬负样本与上下文替换的 VerSe 诊断。
正文 · AI 翻译
摘要：本文提出 Sense-Aligned Grounding Evaluation（SAGE），这是一个统一的 10 候选图像选择基准，将 VWSD、VerSe 和 WikiDiverse 重构为共享的以术语为中心的协议，涵盖以名词、动词和实体为中心的 grounding。SAGE 包含易混淆的困难负样本，以及一个上下文交换的 VerSe 诊断，用于探查超越直接 caption--image 兼容性的目标术语 grounding。我们进一步提出 Gloss-Augmented Reasoning（GAR），这是一个无需训练的框架，将定义 grounding 与约束引导的语义验证相结合。实验表明，强大的 VWSD 性能并不能在各类 grounding 设置中均匀迁移。在 Gemma3-12B 上，定义增强改善了全部三个子集，而约束引导推理改善了 VWSD，并在 VerSe 上带来尤其显著的提升，但在 WikiDiverse 上效果较差。结合两种信号实现了最佳宏平均性能，将 Hits@1 从 65.90 提升至 71.22。这些结果表明，SAGE 既支持统一评估，也支持跨 grounding 设置对显式语义推理进行细粒度分析。
| 主题： | 计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.31838 [cs.CL] |
| （或 arXiv:2610.31838v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31838 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sunjae Kwon [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 19:23:18 UTC（23,922 KB）
来源：arXiv cs.CL · arxiv.org