跳到正文
arXiv cs.AI· Kunze Jiang, Yuchen Wang, Kang Li, Qixing Zhang·· 1 天前AI 评分27

Hint-Informed Self-Distillation(HISD):用提示信息自蒸馏提升推理分割

Hint-Informed Self-Distillation for Reasoning Segmentation

AI 导读

研究者提出 Hint-Informed Self-Distillation(HISD),利用外部模型离线生成的 Segment Hints 做 token 级信用分配,仅调整正组相对优势的幅度。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:推理分割需要在视觉上相似的物体中识别查询所指的目标,然而轨迹级奖励无法直接指出哪些 token 提供了相关的视觉证据。我们提出提示引导自蒸馏(Hint-Informed Self-Distillation,HISD),利用目标消歧证据进行 token 级信用分配。外部模型根据训练图像、查询和真实目标标注离线生成分割提示(Segment Hints),组织目标身份、判别性属性、易混淆物体和锚定路径。一个以提示为条件的指数移动平均教师模型对学生自身的轨迹进行评分,HISD 在 token 支持集上计算教师与学生的证据比,仅调整正组相对优势的幅度,保持非正优势不变。该设计鼓励简洁推理,同时保留目标消歧所需的信息,且学生在推理时既不需要提示也不需要教师。在统一的训练协议下,HISD 相比我们复现的 DPAD,在 ReasonSeg 测试集上的 gIoU 和 cIoU 分别提升 3.00 和 3.55 个百分点。在 ReasonSeg 和 RefCOCO 系列的五个评估划分上,HISD 的分割指标均高于该基线,并将有效推理片段的平均 token 数减少 80.17% 至 91.83%。
评论: 11 页,5 幅图,7 张表。前两位作者贡献相同
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2611.14931 [cs.CV]
  (或 arXiv:2611.14931v1 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.14931

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Kunze Jiang [查看邮箱]
[v1] 2026 年 11 月 11 日星期三 02:34:13 UTC(6,236 KB)

来源:arXiv cs.AI · arxiv.org