CTC松弛目标用于掩码扩散语言模型微调

Mengyu Ye等作者提出将CTC（连接时序分类）目标用于掩码扩散语言模型（MDLM）的监督微调，以缓解位置监督问题。 作者称，CE训练的MDLM在迭代并行解码下对微小位置偏移敏感：在LLaDA-8B-Instruct上用Arena-Hard测试时，仅将1%的生成token位移一个位置，就会显著降低对未干预模型的胜率。CTC是一种对齐灵活的目标，作者据此将其适配到MDLM监督微调中。 目前报道只给出这一适配思路及其动机，未披露微调后的效果数据。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。