降维与量化组合对文本嵌入压缩的影响分析：0.1% 存储是否足够

When Is 0.1% Enough? Analyzing the Combined Effects of Dimensionality Reduction and Quantization on Text Embedding Compression

AI 导读

一项基于 MTEB 四个任务族、五个预训练嵌入模型的系统分析显示，降维与量化组合压缩能在远小于单一方法的存储占用下保持接近原始性能。在分类任务上，多个模型仅用不到原始嵌入 0.1% 的存储即保留至少 99% 的分类分数。维度与位宽的最佳平衡因任务而异，检索任务对压缩更敏感。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：近期的高性能文本嵌入模型通常生成高维实值向量，导致大量的存储和计算开销。为解决这一问题，人们提出了基于降维或量化的嵌入压缩方法；然而，二者结合的效果尚未得到充分研究。本文使用五个预训练嵌入模型，系统研究了降维与量化如何在 Massive Text Embedding Benchmark（MTEB）的四个任务族中共同影响嵌入压缩。结果表明，将降维与量化相结合，可以在存储占用远小于任一单独方法的情况下，保持接近原始的性能。特别是在分类任务中，若干模型在使用不到原始嵌入所需存储的 0.1% 时，仍保留了至少 99% 的原始分类得分。维度与位宽之间的理想平衡因任务而异，检索任务通常对压缩更为敏感。

主题：	计算与语言（cs.CL）
引用为：	arXiv:2606.01074 [cs.CL]
	（或 arXiv:2606.01074v2 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2606.01074 由 DataCite 颁发的 arXiv DOI

提交历史

来自：Riku Kisako [查看邮箱]
[v1] 2026年5月31日周日 07:37:34 UTC（431 KB）
[v2] 2026年10月20日周二 08:06:45 UTC（729 KB）

来源：arXiv cs.CL · arxiv.org