arXiv cs.AI· Minjae Lee, Sungwoo Hur, Soojin Hwang, Won Hwa Kim·· 3 天前AI 评分22
PR-MaGIC：用掩码解码器梯度流优化提示词，实现上下文分割
PR-MaGIC: Prompt Refinement Via Mask Decoder Gradient Flow For In-Context Segmentation
AI 导读
PR-MaGIC 是一个免训练的测试时框架，通过 SAM 掩码解码器的梯度流优化提示词，解决上下文分割中支持图像与查询图像视觉不一致导致的提示词质量不佳问题。该框架可无缝集成到现有上下文分割流程中，并采用简单的 top-1 选择策略稳定性能。大量评测显示，PR-MaGIC 在多个基准上持续提升分割质量，无需额外训练或修改架构。
正文 · AI 翻译
摘要：视觉基础模型（VFM），如 Segment Anything Model（SAM），极大地推动了图像分割的广泛应用。然而，SAM 及其变体需要大量人工进行提示生成，并针对特定应用进行额外训练。近期方法通过将 SAM 集成到上下文（单样本/少样本）分割中，利用查询图像与支持图像之间的语义对齐实现自动提示，从而解决了这些局限。尽管做出了这些努力，由于支持图像与查询图像之间的视觉不一致，它们仍会生成次优提示，从而降低分割质量。为解决这一局限，我们提出了 PR-MaGIC（Prompt Refinement via Mask Decoder Gradient Flow for In-Context Segmentation），这是一个无需训练的测试时框架，通过从 SAM 掩码解码器导出的梯度流来细化提示。PR-MaGIC 可无缝集成到上下文分割框架中，具有理论依据，同时通过简单的 top-1 选择策略在实践上保持稳定，确保跨样本的稳健性能。大量评估表明，PR-MaGIC 在各种基准上持续提升分割质量，有效缓解提示不足的问题，且无需额外训练或架构修改。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.12113 [cs.CV] |
| （或 arXiv:2604.12113v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.12113 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Minjae Lee [查看电子邮件]
[v1]
2026年4月13日星期一 22:40:04 UTC（44,376 KB）
[v2]
2026年10月13日星期二 09:23:56 UTC（39,873 KB）
来源：arXiv cs.AI · arxiv.org