arXiv·· 12 天前AI 评分26
MeSD:面向 VideoLLM 的多证据自蒸馏方法
MeSD: Multi-Evidence Self-Distillation for VideoLLM
AI 导读
针对 VideoLLM 的强化学习仅提供序列级奖励、缺乏 token 级指导的问题,研究者提出多证据自蒸馏方法 MeSD,通过让自教师模型基于特权信息提供密集的 token 级监督。该方法指出在单一教师上下文中聚合异构证据会掩盖证据间的一致与冲突,并进一步探讨教师指导应用于优化奖励更新还是为失败样本提供纠正性监督。
来源:arXiv · arxiv.org