arXiv cs.AI· Sergei Fedorchenko, Max Zehnder, Nikola Zubi\'c, Rong Zou, Davide Scaramuzza·· 13 小时前AI 评分24
Event-SAMA：基于神经形态事件流的语言引导视频目标分割
Event-SAMA: Language-Grounded Video Object Segmentation on Neuromorphic Event Streams
AI 导读
研究者提出 Event-SAMA，将 SAMA-4B 适配到事件流上，构建首个事件原生 RVOS 基线，在 MeViS valid_u 上取得 24.37 𝒥&ℱ，在转换后的 ReVOS valid 子集上取得 22.33 𝒥&ℱ。
正文 · AI 翻译
摘要：事件相机具备微秒级时间分辨率、高动态范围且无运动模糊，但指代视频目标分割（RVOS）缺乏事件流数据集与模型。我们推出 Event-SAMA-239K，这是对 SAMA-239K 有依据视频对话语料库及所有额外 SAMA 训练数据的合成事件转换：30,650 个视频片段和 392,162 张图像。光流、FILM 或扫视上采样后接线性事件生成器，保留了所有掩码、指代表达和对话标注。我们还推出 Event-SAMA，将 SAMA-4B 改造为使用由预训练 RGB 权重初始化的双通道极性 patch 嵌入和零初始化事件适配器。端到端训练在 MeViS valid_u 上取得 24.37 $\mathcal{J}\&\mathcal{F}$，在转换后的 ReVOS 有效子集上取得 22.33 $\mathcal{J}\&\mathcal{F}$，建立了首个事件原生 RVOS 基线（RGB SAMA-4B：MeViS 上为 55.4）。冻结的 RGB SAMA-4B 使用伪 RGB 渲染或相同事件的 E2VID 重建，得分为 13.23 和 15.94 $\mathcal{J}\&\mathcal{F}$。无需重新训练，当累积窗口与真实事件相机记录的事件密度匹配时，Event-SAMA 可在真实事件相机记录上工作。一项种子控制的消融实验测得噪声底为 0.47 $\mathcal{J}\&\mathcal{F}$，发现相比仅用 MeViS，多样化训练来源带来增益（+4.99）、RGB 均值事件主干初始化（+4.33）以及可训练的 SAM2 掩码解码器（+2.76）；在此预算下，事件适配器、部分 ViT 解冻和事件极性处于噪声范围内。一个较早的、部分转换的语料库快照以相同配方训练，在 MeViS 上得分高 1.38 $\mathcal{J}\&\mathcal{F}$，在 ReVOS 上高 1.12。两者均为单次运行，且调度长度也不同，因此我们不对语料库规模得出结论。
| 评论： | 15 页 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.39676 [cs.LG] |
| （或此版本的 arXiv:2610.39676v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2610.39676 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | 神经信息处理系统大会研讨会（NeurIPSW），2026 |
提交历史
来自：Nikola Zubić [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 09:22:49 UTC（4,665 KB）
来源：arXiv cs.AI · arxiv.org