arXiv·· 14 天前AI 评分31
ResOPD:面向稀疏在线策略蒸馏的尾部残差化方法
ResOPD: Tail Residualization for Sparse On-Policy Distillation
AI 导读
ResOPD 提出用尾部残差化改进稀疏在线策略蒸馏(OPD):在仅传输采样 token 分数或小 Top-k 分布的稀疏教师接口下,采样 token 估计器虽无偏但梯度方差大,直接优化 Top-k 目标又引入系统性偏差。该方法针对这一两难问题给出改进方案。
来源:arXiv · arxiv.org