arXiv cs.CL· Juyi Lin, Zhiqiang Lao, Jiali Cui, Lin Zhao, Pu Zhao, Dichang Zhang, Arman Akbari, Yu Qi, Xinru Jiang, Yanzhi Wang, Heather Yu, Liang Peng·· 2 天前AI 评分22
LEAP：面向长音视频感知的学习式分块证据检索框架
LEAP: Learned Block-wise Evidence Retrieval for Long Audio-Video Perception
AI 导读
LEAP 通过将录音切分为固定时长块并先做轻量定位、再对高分窗口做有界重编码答题，使答题输入与峰值上下文不随录制时长增长。在多个 AVQA 基准上，LEAP 较 Qwen3-Omni-30B-A3B 基线提升 4.5-16.8%，并在 MiniCPM-o 4.5 上超出其已公布结果 3.1-13.0%。
正文 · AI 翻译
作者：Juyi Lin、Zhiqiang Lao、Jiali Cui、Lin Zhao、Pu Zhao、Dichang Zhang、Arman Akbari、Yu Qi、Xinru Jiang、Yanzhi Wang、Heather Yu、Liang Peng
摘要：小时级音视频问答受制于上下文困境：对整个录音进行密集编码会迅速耗尽上下文限制，而均匀的时间压缩又会严重稀释细粒度的声学和视觉证据。我们提出 LEAP，一个让模型在不将整个录音放入单一上下文的情况下检索自身证据的框架。LEAP 将录音划分为固定时长的块，对每个块应用轻量级定位过程，为短候选窗口打分。排名最高的窗口被汇集并在单次有界答案过程中重新编码。因此，答案输入和峰值上下文与录音时长无关。通过将证据定位与推理解耦，我们的框架可以在预计算转录文本上定位候选时间窗口，而无需解码媒体帧，同时通过将最终答案过程路由到原始音视频流上，保留细粒度的视觉和非语音证据。LEAP 对两个阶段都进行训练：定位 LoRA 改进所选窗口，答案 LoRA 改进从相同窗口读取的答案。块网格原生支持因果查询，使 LEAP 无需流式专用训练即可支持流式推理。在多个 AVQA 基准上，LEAP 相比 Qwen3-Omni-30B-A3B 基线提升 4.5-16.8%，并迁移到第二个全模态骨干 MiniCPM-o 4.5，超过其已发表结果 3.1-13.0%。
| Comments: | 39 页，16 幅图 |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| Cite as: | arXiv:2609.39938 [cs.CL] |
| （或 arXiv:2609.39938v2 [cs.CL] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2609.39938 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Juyi Lin [查看邮箱]
[v1]
2026 年 9 月 30 日星期三 15:19:12 UTC（270 KB）
[v2]
2026 年 10 月 14 日星期三 23:53:17 UTC（271 KB）
来源：arXiv cs.CL · arxiv.org