学者指生成困惑度不可靠，提出压缩差异指标重评扩散语言模型

Antonio Franca 与 Alexander Tong 等研究者指出，扩散语言模型（DLM）常用的生成困惑度（gen-PPL）不可靠：采样器若总是输出打分器认为最可能的序列，就能把该指标刷低，而生成的文本本身并不连贯。 研究构造了四个免训练采样器，在 LM1B 和 OpenWebText 上以非退化 unigram 熵达到或超过训练模型的 gen-PPL。作者据此改用分布差异与多样性诊断重新评测近期 DLM，并提出一种基于压缩的差异指标，衡量真实文本与生成文本之间 KL 散度两个方向上的局部覆盖与保真度。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。