arXiv cs.CL· Antonio Franca, Alexander Tong·· 12 小时前AI 评分31
破解生成困惑度：为何无条件文本评估需要新指标
Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs New Metrics
AI 导读
扩散语言模型（DLM）的生成困惑度（gen-PPL）被证明不可靠：它会被"总是输出打分器最可能序列"的采样器刷低，而这类文本本身不连贯。研究构造了四个免训练采样器，在 LM1B 和 OpenWebText 上以非退化 unigram 熵达到或超过训练模型的 gen-PPL。作者据此用分布差异与多样性诊断重新评测近期 DLM，并提出一种基于压缩的差异指标来衡量局部覆盖与保真度。
正文 · AI 翻译
摘要：扩散语言模型（DLMs）已成为语言建模领域领先的非自回归替代方案。由于其似然难以计算，生成困惑度（gen-PPL）已成为报告无条件生成质量的事实标准。我们分析了 gen-PPL 为何不能可靠地衡量生成质量。在样本之间，只要始终输出评分器最可能的序列，就能使其最小化。逐样本的一元熵并不能衡量这种多样性损失。在样本内部，gen-PPL 奖励的是在评分器下的可预测性，而这未必对应文本质量。为使这一缺陷更加明确，我们构造了四种无需训练的采样器，它们在 LM1B 和 OpenWebText 上以非退化的一元熵达到或超过了已训练模型的 gen-PPL，同时生成的文本在构造上就是不连贯的。随后，我们使用分布差异和多样性诊断对近期的 DLM 重新进行基准评测，并将其排名与 LLM 判断进行比较。作为该评估的一部分，我们引入了一种基于压缩的差异度量，用于衡量局部覆盖度和保真度，即真实文本与生成文本之间 KL 散度的两个方向。我们认为，DLM 的进展应使用一组能够揭示生成文本不同特性的指标来评估。
| 评论： | 发表于 ICML 2026 结构化概率推断与生成建模研讨会（SPIGM），韩国首尔 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.08417 [cs.CL] |
| （或 arXiv:2606.08417v3 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.08417 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Antonio Franca [查看邮箱]
[v1]
2026年6月7日周日 02:35:56 UTC（57 KB）
[v2]
2026年8月1日周六 17:13:06 UTC（58 KB）
[v3]
2026年10月22日周四 10:36:49 UTC（567 KB）
来源：arXiv cs.CL · arxiv.org