跳到正文
arXiv·· 14 天前AI 评分31

ResOPD:面向稀疏在线策略蒸馏的尾部残差化方法

ResOPD: Tail Residualization for Sparse On-Policy Distillation

AI 导读

ResOPD 提出用尾部残差化改进稀疏在线策略蒸馏(OPD):在仅传输采样 token 分数或小 Top-k 分布的稀疏教师接口下,采样 token 估计器虽无偏但梯度方差大,直接优化 Top-k 目标又引入系统性偏差。该方法针对这一两难问题给出改进方案。

来源:arXiv · arxiv.org