arXiv cs.AI· Qingyun Liu, Yuankun Liu, Jiaye Feng, Jie Huang, Zonghong Dai, Haochen Li, Jingkun Wang, Weiping Li, Tong Mo·· 11 小时前AI 评分22
PSGAgent：用智能体推理增强 MLLM 动态视觉感知，实现全景场景图生成 SOTA
PSGAgent: Enhancing MLLMs' Dynamic Visual Perception for Panoptic Scene Graph Generation via Agentic Reasoning
AI 导读
PSGAgent 是一个通过“思考-行动-观察”循环增强 MLLM 视觉感知的智能体框架，用于全景场景图生成（PSG）。它借助 Region Zoom-In Tool 局部探索小目标或边界关系，并用 Visual Highlight Tool 做关系聚焦分割以过滤无关上下文噪声。
正文 · AI 翻译
摘要：全景场景图生成（PSG）需要对物体之间的复杂关系进行整体而细粒度的推理。然而，当前应用于 PSG 的多模态大语言模型（MLLM）存在感知瓶颈：它们作为静态观察者，受限于固定分辨率的视图。因此，模型常常忽略涉及小型或边缘物体的关键关系，并且难以在复杂场景中区分模糊的谓词。为解决这些局限，我们提出 PSGAgent，这是一个通过“思考-行动-观察”循环增强 PSG 视觉感知的智能体框架。PSGAgent 允许 MLLM 使用两种工具动态优化其视觉感知：用于局部探索小型或边界关系的区域放大工具，以及用于聚焦关系的分割、过滤无关上下文噪声的视觉高亮工具。为优化决策，我们构建了一个两阶段训练流程。首先，我们创建了一个高质量、错误感知的多模态思维链（M-CoT）数据集，为冷启动学习提供稳健的监督。然后，我们设计了一种新颖的分层奖励机制，并与组序列策略优化（GSPO）集成，以实现策略性和自适应的工具使用。在 PSG 基准上的大量实验表明，PSGAgent 达到了 SOTA 性能，在整体和细粒度场景理解方面均展现出强大能力。
| 评论： | 已被 ACM Multimedia 2026 接收。10 页，8 幅图 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.07408 [cs.CV] |
| （或 arXiv:2611.07408v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07408 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 相关 DOI： | https://doi.org/10.1145/3767308.3835827
链接到相关资源的 DOI |
提交历史
来自：QingYun Liu [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 04:02:16 UTC（2,730 KB）
来源：arXiv cs.AI · arxiv.org