arXiv cs.CL· Gregor Kornhardt, Moritz Piening, Jannis Chemseddine, Gabriele Steidl·· 9 天前AI 评分24
SOL：用双切片 Wasserstein 距离度量文本分布之间的差距
SOL: Measuring Gaps between Text Distributions by Double Sliced Wasserstein Metrics
AI 导读
研究者提出 SOL，一种基于双切片 Wasserstein 距离的文本分布度量方法，将每条序列表示为固定 Transformer 下隐状态的经验测度，再比较这些测度的分布，并证明当 Transformer 为单射时 SOL 是度量。实验显示 SOL 能检测分布性失败、还原预期模型趋势并提供稳定的基于样本的估计，研究还用它重新评估了多个在 OpenWebText 上训练的模型。
正文 · AI 翻译
摘要：评估文本生成需要衡量生成分布与数据分布的匹配程度。对于自回归模型，这通过困惑度来完成。扩散模型和基于流的语言模型只能提供一个似然上界，其紧致程度在不同模型家族之间有所不同。基于采样的替代指标，如带熵的生成困惑度，并未考虑分布拟合。我们提出 SOL，
一种文本分布之间的距离。每个序列由其在固定 transformer 下隐藏状态的经验测度表示，这些测度的分布通过双重切片 Wasserstein 距离进行比较。我们证明，如果该 transformer 是单射的，则 SOL 是一个度量。实验表明，SOL 能够检测分布性失败、恢复预期的模型趋势，并提供稳定的基于采样的估计。我们提出 SOL 以填补当前用于非自回归模型的评估协议中的空白。作为第一步，我们使用 SOL 重新评估了在 OpenWebText 上训练的各种模型。
| 学科： | 计算与语言（cs.CL）；机器学习（cs.LG）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.06513 [cs.CL] |
| （或 arXiv:2610.06513v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.06513 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Gregor Kornhardt [查看电子邮件]
[v1]
2026年10月5日星期一 15:29:55 UTC（438 KB）
[v2]
2026年10月8日星期四 15:22:16 UTC（438 KB）
来源：arXiv cs.CL · arxiv.org