arXiv cs.CL· Xueyun Tian, Bingbing Xu, Jiaming Liu, Jinpeng Yu, Yang Shi, Yu Zhao, Ruihua Huang, Yuanzhuo Wang, Huawei Shen·· 11 小时前AI 评分32
SyncPro：面向主动式流视频理解的同步推理与响应框架
SyncPro: Synchronous Reasoning and Responding for Proactive Streaming Video Understanding
AI 导读
SyncPro 是一个同步双流框架，用 Inner 与 Response 两条独立生成路径分别负责证据追踪和面向用户的响应，两者共享因果历史、可独立激活，使响应能与持续推理并行进行。研究团队构建了 189K 双流样本，经监督微调加轨迹级强化学习训练，在三个主动式基准上提升了响应时机与回答准确率。
正文 · AI 翻译
摘要：主动式流媒体视频理解要求助手跟踪正在发生的事件，并在用户请求的条件满足时作出响应。为做出这些决策，助手必须积累相关证据，并在新观察结果到来时重新评估响应条件。现有工作为该过程提供了互补的能力：主动式视频助手学习何时响应，而流媒体视频推理方法则生成按计划产生的中间文本，以组织观察结果并支持后续回答。这些能力共同为主动式推理奠定了基础，但如何协调持续进行的推理与及时响应仍缺乏充分探索。在一种直接改造方案中，固定的推理间隔可能在没有任何相关变化时触发更新，或将有用的更新推迟到下一个预定步骤。共享同一条生成路径还会将两项不同需求耦合在一起：为未来决策保留证据，以及只生成用户所请求的响应。此外，推理之后生成的响应必须等待推理结束，即使已有足够证据也是如此。为应对这些挑战，我们提出 SyncPro，这是一种同步双流框架，为证据跟踪和面向用户的响应设置了专门的生成路径。其 Inner 分支和 Response 分支共享因果历史并独立激活，使相关证据变化能够触发内部更新，并使响应能够与正在进行的推理并发推进。我们构建了 189K 个双流示例，并通过监督微调及随后的轨迹级强化学习训练 SyncPro。在三个主动式基准上的实验表明，响应时机得到改善，对用户请求的回答也更加准确。
| 学科： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.32132 [cs.CV] |
| （或 arXiv:2610.32132v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32132 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xueyun Tian [查看电子邮件]
[v1]
2026年10月23日星期五 03:58:17 UTC（20,505 KB）
来源：arXiv cs.CL · arxiv.org