arXiv cs.AI· Junxiang Wen, Yinxi Zhao, Jiawei Chen, Jingying Hu, Lijun Wang, Zhen Qin, Shuiguang Deng·· 10 小时前AI 评分31
APS:面向长视频理解的自适应分区帧选择框架
APS: Adaptive Partitioning-Based Frame Selection for Long Video Understanding
AI 导读
APS 是一个免训练的长视频理解帧选择框架,将时间分区建模为复杂度正则化拟合问题,用动态规划联合优化分区边界与局部模型,使分区随 query-frame 相关性自适应调整。
正文 · AI 翻译
摘要:大型视觉语言模型(LVLM)的最新进展显著提升了视频理解能力,但由于大量视觉输入带来的巨大计算开销,处理长视频仍然具有挑战性。帧选择提供了一种高效的替代方案,但许多现有的基于区域的方法依赖于固定或预定义的时间划分,这可能导致时间区域次优,从而影响后续的预算分配和帧选择。在本工作中,我们提出了基于自适应划分的帧选择(APS),这是一个无需训练的框架,能够根据查询-帧相关性的局部变化自适应调整时间划分。具体而言,APS 将时间划分表述为一个复杂度正则化的拟合问题,通过动态规划联合优化划分边界和局部模型。由此得到的自适应时间划分基于查询相关性和时间范围指导帧预算分配,从而在有限的视觉预算下实现信息量丰富的帧选择。在 Video-MME、MLVU 和 LongVideoBench 上的大量实验表明,APS 在多种 LVLM 骨干网络上持续提升性能,在竞争方法中相对于均匀采样取得了最高的平均增益。进一步的分析验证了自适应划分的有效性,并展示了其在不同模型规模、相似度编码器和先进 LVLM 上的泛化能力。
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2611.24079 [cs.CV] |
| (或 arXiv:2611.24079v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24079 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Junxiang Wen [查看邮箱]
[v1]
2026年11月18日星期三 09:07:28 UTC(15,321 KB)
来源:arXiv cs.AI · arxiv.org