ML 铅笔手稿：从 BERT 到 GPT 的预训练范式之争

科普系列第 14 期对比了 BERT 与 GPT 两条预训练路线：BERT（Encoder-only）采用掩码语言模型（MLM）实现双向理解，GPT（Decoder-only）则以单向下一词预测（Next-token prediction）支撑生成式少样本提示。内容还阐释了 2018 年预训练加微调范式如何化解训练标注数据瓶颈。