arXiv cs.CL· Ting-Chih Chen, Emile van Krieken, Shujian Yu, Filip Ilievski·· 14 小时前AI 评分29
VisKG：用问题特定知识图谱实现高效视觉推理
Question-Specific Knowledge Graphs for Efficient Visual Reasoning
AI 导读
研究者提出 VisKG，一个强化学习框架，让模型把视觉内容翻译成针对具体问题的知识图谱表示，过滤感知噪声并保留链式推理所需的实体-关系结构，从而减少输入 token 数。
正文 · AI 翻译
摘要：近期在视觉问答方面的研究表明，视觉语言模型通过将视觉输入转换为文本表示，可以展现出强大的推理能力。这种转换的有效性取决于视觉细节的保留程度；模型需要呈现并对齐显式与隐式知识，以充分支撑推理，同时不引入虚假假设。现有利用详细图像描述的方法会引入与推理任务无关的视觉细节，使输入 token 数量膨胀并增加计算成本。为应对这些挑战，我们提出 VisKG，一个强化学习（RL）框架，模型在其中学习将视觉内容转换为针对具体问题的知识图谱（KG）表示。该过程遵循最小充分信息原则，过滤掉感知噪声，同时保留思维链推理所需的实体-关系结构。为确保 RL 后训练稳定，VisKG 采用 Group reward-Decoupled Normalization Policy Optimization（GDPO）。此外，我们在监督阶段引入负向推理样本，使模型在 RL 后训练之前接触错误的推理路径。在科学、数学和通用视觉理解基准上的实验结果表明，VisKG 的性能与基线相当或更优，同时所需 token 少于基于描述的表示。此外，使用 GDPO 训练 VisKG 相比使用 GRPO 训练的对应版本，平均准确率提升 2%。这些结果表明，KG 表示是支撑多步推理的一种有前景的方法，并为未来针对给定任务自适应选择最合适表示的研究开辟了方向。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2609.35942 [cs.CL] |
| （或 arXiv:2609.35942v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.35942 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tingchih Chen [查看邮箱]
[v1]
2026年9月28日星期一 16:21:13 UTC（2,825 KB）
[v2]
2026年10月26日星期一 09:12:22 UTC（2,807 KB）
来源：arXiv cs.CL · arxiv.org