arXiv cs.CL· Bruce Changlong Xu, Muhammed Shahir Abdurrahman, Hashem Elezabi·· 11 小时前AI 评分18
Typhoon：面向掩码语言模型的基于梯度的任务特定掩码策略
Typhoon: Gradient-Based Task-Specific Masking for Masked Language Models
AI 导读
研究提出 Typhoon，利用 MLM 损失对 one-hot token 输入的梯度在线估计各 token 类型的贡献，并以指数移动平均维护显著性、校准成期望掩码率匹配目标预算的掩码分布。
正文 · AI 翻译
摘要：在掩码语言建模（MLM）中，选择掩码哪些 token 是一个尚未被充分研究的设计决策。标准预训练以均匀随机的方式掩码 token，而内容感知的掩码方案可以改善下游迁移效果。我们将掩码视为微调流程中一个任务自适应的组件，并提出 Typhoon——一种利用 MLM 损失对 one-hot token 输入的梯度来在线估计每种 token 类型对目标函数贡献程度的掩码策略。Typhoon 维护每种 token 类型显著性的指数移动平均，并在 token 独立性近似下将这些分数校准为一个掩码分布，使其期望掩码率与目标预算相匹配。我们形式化了该方法，并在两个 GLUE 任务（MRPC 和 CoLA）上，针对三种 BERT 系列骨干模型（TinyBERT、DistilBERT 和 BERT-base）、每种配置五个随机种子（共 $90$ 次训练运行），将其与随机掩码和整词掩码进行了对比评估。在考虑种子方差后，这些任务上没有任何一种掩码策略能可靠地优于其他策略：在 MRPC 上，Typhoon 与最佳基线之间的差距保持在 $0.004$ $F_1$ 以内，全部十二项 Typhoon 对比中没有任何配对检验达到显著，且每个 $95\%$ 置信区间都包含零。考察 Typhoon 学到的分布可以解释原因：保持预算的 min-max 校准将梯度排名压缩到一个狭窄区间，其与均匀随机掩码的 Kullback-Leibler 散度为每 token $7\times 10^{-4}$ nats，而将校准分布的 KL 散度扩大一个数量级，下游准确率在种子噪声范围内仍保持不变。Typhoon 在单次运行实验中表现出的表面优势无法经受多种子评估的检验，这表明在此规模下，基于梯度的任务自适应掩码与均匀随机掩码相比具有竞争力，但并未超越后者。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2303.15619 [cs.CL] |
| （或本版本的 arXiv:2303.15619v3 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2303.15619 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Bruce Xu [查看邮箱]
[v1]
2023年3月27日 星期一 22:27:23 UTC（857 KB）
[v2]
2026年6月1日 星期一 20:44:51 UTC（364 KB）
[v3]
2026年10月20日 星期二 16:55:47 UTC（63 KB）
来源：arXiv cs.CL · arxiv.org