有损压缩文本自编码器：Lossy Compressive Text Autoencoders

Lossy Compressive Text Autoencoders

AI 导读

研究提出一种自编码器架构，沿时间轴对隐藏表示做残差降采样与升采样，并配以残差低维离散瓶颈，实现文本的压缩潜在表示。在 web 文本数据上，其压缩表示达到 2.24 bits per byte，与无损文本压缩算法相当，同时保持较好的重建与下游任务表现。研究还分析了不同量化方法、训练目标与数据集，并用 BLEU 和 LLM 评判评估重建文本的表面与语义相似度，另在问答和语义文本相似度基准上做了评测。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：我们的工作探索在数据压缩与表示学习的交叉领域学习文本的压缩潜在表示。我们提出了一种自编码器架构，该架构沿时间轴对隐藏表示执行残差降采样和升采样，并带有残差低维离散瓶颈。我们针对不同的量化方法、训练目标和数据集分析了我们的方法。对于不同的压缩级别，我们从表面层面（BLEU）和语义层面（基于 LLM 的评判）评估原始文本与重建文本之间的相似度。此外，我们在下游问答和语义文本相似度基准上评估我们的模型。我们的方法产生的压缩表示在 Web 文本数据上以每字节 2.24 比特达到与无损文本压缩算法相当的水平，同时具有良好的重建和下游任务性能。

主题：	计算与语言（cs.CL）
引用为：	arXiv:2610.10738 [cs.CL]
	（或 arXiv:2610.10738v1 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.10738 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

发件人：David Grangier [查看电子邮件]
[v1] 2026年10月7日星期三 18:08:40 UTC（14,137 KB）

来源：arXiv cs.CL · arxiv.org