跳到正文
arXiv cs.AI· Bingjun Luo, Jialin Guo, Siqi Li·· 23 小时前AI 评分31

FrameRouter:面向 Video-MME-v2 及更长视频理解任务的帧预算路由

FrameRouter: Frame Budget Routing for Long-Video Understanding on Video-MME-v2 and Beyond

AI 导读

FrameRouter 是一个免训练测试时框架,通过证据需求路由器、预算约束分配规则和冻结的帧采样策略库,为每个问题分配不同帧预算,同时保持平均预算与均匀参考一致。在 Video-MME-v2 及多个长视频理解基准上,FrameRouter 以相同的平均视觉预算更选择性地分配帧,提升了长视频问答表现。该工作已被 NeurIPS 2026 接收,代码已开源。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:像 Video-MME-v2 这样的长视频问答基准通常会在每个问题统一的帧预算下评估系统,尽管每个查询实际所需的证据存在显著差异。我们在 Video-MME-v2 上分析了这种不匹配,发现不同的问题子集偏好不同的固定帧预算策略,而统一增加帧数并不能可靠地提升所有指标。这些发现促使我们提出固定均值帧预算路由,这是一种受控推理设置,其中每个问题可以接收不同的帧预算,而平均预算与统一参考值相匹配。我们提出了 FrameRouter,一个无需训练的测试时框架,它结合了证据需求路由器、预算受限的分配规则和一组冻结的帧采样策略。通过控制每个问题接收多少视觉证据,同时保持底层采样器不变,FrameRouter 与查询感知的帧选择正交。在 Video-MME-v2 和若干长视频理解基准上,FrameRouter 通过在问题之间更有选择性地使用相同的平均视觉预算,提升了长视频问答性能。代码可在 此 https URL 获取。
Comments: 已被 NeurIPS 2026 接收
Subjects: 人工智能(cs.AI);计算机视觉与模式识别(cs.CV);机器学习(cs.LG)
Cite as: arXiv:2611.23055 [cs.AI]
  (或此版本的 arXiv:2611.23055v1 [cs.AI])
  https://doi.org/10.48550/arXiv.2611.23055

arXiv 颁发的 DOI 通过 DataCite(待注册)

提交历史

来自:Bingjun Luo [查看邮箱]
[v1] 2026年11月17日星期二 16:49:21 UTC(618 KB)

来源:arXiv cs.AI · arxiv.org