PriFT：用冻结预训练模型为微调token加权

Ke Wang 等人提出监督微调方法 PriFT，用冻结的预训练参考模型计算 token 权重，以“先验支持度”重加权监督微调目标。作者称，这样做是为了避免现有方法从当前微调模型取权重所导致的自强化循环，从而获得不受微调影响的稳定重加权信号。 该方法有两个实例：PriFT-prob 使用预训练目标下的 token 概率，PriFT-mass 按预训练分布下的累积概率质量选 token。报道未给出实验效果数据。

AI 根据报道生成 · 40 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。