研究：扩散语言模型去噪收敛可预测端点不确定性

Julio C. Amador Diaz Lopez 发表论文，研究掩码扩散语言模型单次去噪轨迹内的收敛程度与最终输出分布不确定性之间的关系。研究在四个推理基准上测试四个模型，每题生成 20 次、共采集 32,000 条去噪轨迹，发现两者显著相关（β=-0.222，p<10^-25），且这种关系随去噪推进而增强。 研究还发现，单次去噪轨迹的特征可预测独立重复运行是否会收敛到同一端点。作者据此提出，可用更少的完整生成次数估计端点分布特性。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。