Typhoon：按梯度分配掩码的微调策略

Bruce Changlong Xu 等提出 Typhoon，一种用于掩码语言模型（MLM）微调的任务自适应掩码策略。它利用 MLM 损失对 one-hot token 输入的梯度，在线估计各 token 类型对目标的贡献，并用指数移动平均维护显著性，再校准成与目标预算匹配的掩码分布。 该策略把掩码视为微调流程中随任务调整的组件，而非固定规则；报道未给出与其他掩码策略的对比结果或实际效果数据。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。