研究提出统一逐token门控族用于在线策略蒸馏

Suwan Wu等作者提出一个四系数逐token门控参数化方法 λ_t = σ(a·h_t + b·u(x) + c + d·gap_t)，用于在线策略蒸馏。作者称，EOPD 与 ToDi 的方向对齐代理是该参数化的一维限制特例，新方法在此基础上增加了多通道组合与显式偏置两项自由度。 该工作将上述门控形式称为统一逐 Token 门控家族，把 FKL/RKL 混合、多通道与偏置系数纳入同一参数化框架。报道未给出该方法的实验效果或适用条件。

AI 根据报道生成 · 56 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。