跳到正文
RadarAI· 山景城小路·· 4 小时前AI 评分30

SFT 训练配方解析:如何避免灾难性遗忘与退化

AI 导读

DiPietro 提出的 SFT 配方建议通过数据比例、batch size 和 KL 惩罚等技术手段,在完成有监督微调的同时保持模型通用能力。文章指出 SFT 导致退化并非必然,关键在于数据配方而非微调本身。

来源:RadarAI · bestblogs.dev