为什么后训练能让大模型变强这么多？5 分钟看懂 RLHF 和推理强化学习

预训练让模型积累知识与推理模式，却不保证把用户输入理解为需要回答的问题，后训练负责把能力引导出来。讲解以水库与水渠作比喻，串联 SFT、RLHF（先训练奖励模型再用 PPO 优化）、DPO 与可验证奖励，并提及 LIMA 的精选样本结果说明表层对齐假说。文章还提醒奖励过度优化和多次尝试条件下的能力边界。