arXiv cs.AI· Abdullah Hamdi·· 12 小时前AI 评分42
LLMSeg：无需训练、用 B-Splines 实现文本提示图像分割
LLMSeg: Training-Free Text-Prompted Image Segmentation with B-Splines
AI 导读
LLMSeg 提出一种免训练流程，让具备视觉能力的通用多模态大模型直接完成文本提示图像分割，无需分割头、掩码解码器或额外训练。它把分割拆成检测、用闭合周期 B-Splines 描边、迭代细化三步，输出带可检查中间几何的二进制掩码。以 Gemini-3.7-Flash 为后端，在 ReasonSeg val 上达到 71.5 cIoU，在相同样本上与专用模型 SAM 3 相当甚至更优。
正文 · AI 翻译
摘要：诸如 SAM 3 之类的可提示分割模型实现了卓越的开放词汇性能，但需要专用架构、大规模标注引擎和特定任务训练。我们提出一个不同的问题：通用多模态大语言模型（MLLM）能否直接分割图像，而无需额外的分割头、掩码解码器或训练？我们提出 LLMSeg，一个无需训练的流水线，将具备视觉能力的 LLM 转变为文本提示的图像分割器。LLMSeg 将分割分解为三个由 LLM 驱动的阶段。首先，detect 定位所有匹配自由形式文本查询的实例，并描述其粗略形态。接着，segment 使用限定在其检测框内的闭合周期 B 样条追踪每个实例。这些样条定义外边界和可选的孔洞环。最后，refine 迭代地在残余误差周围提出聚焦框，并重新追踪限定样条。当掩码稳定或轮次预算耗尽时，该过程结束。输出是带有可检查中间几何的二进制掩码。我们在十个指代和推理分割划分（ReasonSeg 和 RefCOCO/+/g）上评估 LLMSeg。我们还评估开放词汇实例分割（LVIS、COCO 和 SA-Co）、语义分割和零样本检测（ODinW13 和 RF-100VL）。使用现成的 Gemini-3.7-Flash 后端，LLMSeg 在相同项目上与专用 SAM 3 模型具有竞争力，且常常超越它。它在 ReasonSeg val 上达到 71.5 cIoU，且无需额外的分割特定训练。后端模型更新可以在不重新训练流水线的情况下提高准确率。代码可在 此 https URL 获取。
| 评论： | 预印本 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.29409 [cs.CV] |
| （或此版本的 arXiv:2610.29409v1 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2610.29409 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Abdullah Hamdi [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 08:35:16 UTC（17,922 KB）
来源：arXiv cs.AI · arxiv.org