TRL 支持 MOPD：将多个 RL 专家合并为一个模型

TRL 推出 AsyncDistillTrainer，可将多个 RL 专家模型的行为合并到单一模型中。该方法把每个 prompt 路由到指定的专家教师模型，并用 on-policy KL 监督进行训练，从而将复杂的模型合并流程标准化。