arXiv cs.AI· Gerard Donahue, Guven Gergerli, Ayush Gupta, Reza Ghoddoosian, Enna Sachdeva, Faizan Siddiqui·· 10 小时前AI 评分24
ARQ-VAE：面向时序动作分割的自适应残差量化记忆压缩方法
Adaptive Residual Quantization for Memory-Efficient Temporal Action Segmentation
AI 导读
研究者提出 ARQ-VAE，一种无需逐帧标注的紧凑特征记忆表示，通过对帧级视频特征学习离散残差量化并按帧自适应截断残差链，仅保留重建效果最佳的残差前缀。在 Breakfast 数据集上，该方法将训练集存储从原始 I3D 特征库的 28 GB 降至 10 MB，配合 ASFormer 在监督设置下取得 71.5 Edit 和 51.2 F1@50。
正文 · AI 翻译
摘要：时序动作分割（TAS）通常基于大规模预提取帧特征库进行训练，但存储和回放这些特征会成为长视频的实际瓶颈，尤其是在增量式 TAS 中，过去任务的数据必须保持可用以缓解灾难性遗忘。近期的 TAS 回放与浓缩方法减轻了这一负担，但它们依赖密集的逐帧标注，并通过固定的片段级结构分配存储，限制了其对于帧复杂度随时间显著变化的长流程视频的灵活性。我们提出自适应残差量化变分自编码器（ARQ-VAE），这是一种用于 TAS 特征的紧凑且无需标签的记忆表示，它学习帧级视频特征的离散残差量化，然后逐帧自适应截断残差链，仅保留最能重建每个帧特征的残差前缀。这产生了一种实用的紧凑特征记忆，不依赖逐帧标签，因此可以用相同的存储表示支持多种 TAS 设置，同时轻量级微调阶段进一步提高了实际保留的截断码的重建质量。在标准 TAS 基准上，ARQ-VAE 相比先前的回放与浓缩基线实现了显著改善的存储-性能权衡。在 Breakfast 上，我们的最终表示将训练集存储从原始 I3D 特征库的 28 GB 降至 10 MB，同时保持强劲的下游分割性能；使用 ASFormer 时，在监督设置下达到 71.5 Edit 和 51.2 F1@50。我们进一步表明，相同的无标签记忆对增量式和 unsupervised TAS 仍然有效。我们将 ARQ-VAE 定位为 TAS 的实用记忆表示，以及更广泛数据集浓缩应用的一个有前景的方向。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.13262 [cs.CV] |
| （或此版本的 arXiv:2611.13262v1 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2611.13262 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Faizan Siddiqui [查看电子邮件]
[v1]
2026年11月9日星期一 21:31:31 UTC（882 KB）
来源：arXiv cs.AI · arxiv.org