arXiv cs.AI· Jiawei Xiao, Boya Wang, Longtian Qiu, Shan Ning, Xuming He·· 10 小时前AI 评分22
RaRe：面向开放词汇场景图生成的推理感知关系表示学习框架
Reasoning-Aware Relational Representation Learning for Open-Vocabulary Scene Graph Generation
AI 导读
RaRe 将 MLLM 生成的思维链（CoT）推理依据转化为结构化关系嵌入，直接优化推理依据衍生的表示空间以提升关系间可区分性。该框架先用自监督对比学习将推理依据嵌入与文本化关系描述对齐，再用面向特异性的强化学习目标改进推理依据生成。在 VG150 和 PSG 上，RaRe 相比现有基线提升了类别均衡识别效果，但学习带来的额外增益因数据集和候选框设置而异。
正文 · AI 翻译
摘要：开放词汇场景图生成（OV-SGG）要求模型识别训练词汇之外的视觉关系，然而现有方法往往依赖特定数据集的对象—谓词共现模式。在长尾分布和噪声对象定位下，这种依赖会导致有偏、纠缠的关系表示，限制了稀有关系识别和对未见谓词的泛化能力。为应对这些挑战，我们提出 RaRe，一个推理感知的关系表示学习框架，将 MLLM 生成的思维链（CoT）推理依据转化为结构化关系嵌入。RaRe 并非仅将 CoT 用作最终预测的中间推理轨迹，而是直接优化由推理依据导出的表示空间，以提升关系间的可区分性。具体而言，RaRe 首先通过自监督对比学习将推理依据嵌入与文本化关系描述对齐，然后以面向特异性的强化学习目标精炼推理依据生成，鼓励语义上特定于对象对的关系证据。在 VG150 和 PSG 上的实验表明，相比现有基线，类别均衡识别得到改善，而学习带来的额外收益因数据集和候选设置而异。代码见：此 https URL。
| 评论： | 被 NeurIPS 2026 接收，代码见项目页面 此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.13496 [cs.CV] |
| （或 arXiv:2611.13496v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13496 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Longtian Qiu [查看邮箱]
[v1]
2026年11月10日星期二 03:08:22 UTC（7,652 KB）
来源：arXiv cs.AI · arxiv.org