arXiv cs.CL· Shuai Dong, Kanghui Tian, Linghan Chen, Wenqi Shao, Hongrui Wu, Haowen Hou, Yongfu Zhu, Xuehui Wang, Ziyue Wang, Wenpu Liu, Weichu Xie, Yuqi Xu, Congcong Wang, Kaiwen Tuo, Caoyuan Ma, Taiqiang Wu, Ji Zhao, Wenzheng Chang, Dianyi Wang, Siyuan Wang, Zhongyu Wei, Yu Qiao, Jiaqi Wang·· 11 小时前AI 评分31
TurnWise：用轮级信用分配改进流式视频 RL
Turns Matter: Advancing Streaming Video RL via Turn-Level Credit
AI 导读
研究提出 TurnWise，一个轮级 GRPO 框架，用于流式视频理解中模型反复决定"回应还是继续观察"的场景。它用 silence-completed prefix scoring 从每次决策的剩余回报构造组相对优势，并以轮内、轮间平均的 token 损失让回应与等待决策等权。实验显示该方法优于此前的流式视频理解 RL 方法，且无需学习 critic 或额外 rollout。
正文 · AI 翻译
作者：Shuai Dong、Kanghui Tian、Linghan Chen、Wenqi Shao、Hongrui Wu、Haowen Hou、Yongfu Zhu、Xuehui Wang、Ziyue Wang、Wenpu Liu、Weichu Xie、Yuqi Xu、Congcong Wang、Kaiwen Tuo、Caoyuan Ma、Taiqiang Wu、Ji Zhao、Wenzheng Chang、Dianyi Wang、Siyuan Wang、Zhongyu Wei、Yu Qiao、Jiaqi Wang
摘要：流式视频理解要求模型反复决定是作出回应还是继续观察。近期，Group Relative Policy Optimization（GRPO）已被应用于这一场景，现有方法侧重于奖励设计，同时在各个轮次之间保留单一的轨迹级优势。这种共享的信用分配可能会在先前成功之后强化冗余回复，并在先前失败之后抑制有用的后续回复。我们提出 TurnWise，一个轮次级 GRPO 框架，使学习与单个流式决策对齐。TurnWise 解决了轨迹级反馈与轮次级交互之间的不匹配，促进有信息量的回复并减少冗余。具体而言，轮次级信用分配使用静默补全前缀评分，从每个决策的剩余回报中构造组相对优势，将其学习信号与先前奖励分离。轮次均值策略优化在每个轮次内对 token 损失取平均，然后再跨轮次取平均，使回复决策和等待决策无论输出长度如何都获得相同权重。这些互补的设计无需学习到的 critic 或额外 rollout 即可改进流式策略学习。大量实验表明，我们的方法优于先前用于流式视频理解的 RL 方法。
| 评论： | 16 页，4 张图 |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.06728 [cs.CV] |
| （或 arXiv:2611.06728v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06728 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shuai Dong [查看邮箱]
[v1]
2026 年 11 月 4 日星期三 16:16:27 UTC（10,730 KB）
来源：arXiv cs.CL · arxiv.org