预训练之后为何还要后训练：三种技术把基座模型变成助手

预训练只教模型预测下一个词，基座模型因此不听指令、可能输出有害内容、不擅长长链条推理；后训练沿用同一模型，改用规模小得多的精心数据（大型指令数据集最多几百万条样本），通过指令微调、偏好对齐（RLHF/PPO 或 DPO）和 RLVR 三种技术，分别向示范、比较和检查器学习。 研究显示，在大型指令数据中仅混入 500 条安全示例，模型的有害回答就明显减少。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。