arXiv cs.CL· Kai Ponel, Marco Polignano, Erasmo Purificato, Aylin Julia Temizkan, Marco Levantesi, Giovanni Semeraro, Ernesto William De Luca·· 11 小时前AI 评分31
分层表示与量化如何权衡：文本嵌入的效率基准研究
Balancing hierarchical representation and quantization: A performance trade-off in text embeddings
AI 导读
一项实证基准研究在 MTEB 的 38 个任务上，用 4 个 Transformer 嵌入模型测试了 1D/2D 分层表示与 32-bit、8-bit、二值量化的组合，每个任务共 168 种配置。
正文 · AI 翻译
摘要：分层文本嵌入模型提供可变长度表示，而量化则降低数值精度；两者都旨在提高计算效率。本工作是一项实证基准研究，考察这两种正交且已成熟的技术如何相互作用。我们使用四个基于 Transformer 的嵌入模型，在 Massive Text Embedding Benchmark（MTEB）的 38 个任务上进行评估，涵盖 1D 和 2D 分层表示与 32 位、8 位和二进制量化的组合，每个任务共 168 种配置。我们分别报告每个效率维度：理论上的每向量存储量和端到端评估时间。在 Friedman 检验与 Nemenyi 事后分析下，int8 量化在配对分类和重排序上与 float32 在统计上无法区分，整体最多损失 1.5 个百分点，而二进制量化在每个任务类别上都显著更差。将嵌入维度减半一次在 $m=16$ 以上无法在统计上检测到；连续两次减半则总是可以检测到。将 8 倍降维与 int8 结合，可在保持基线效果 94.4% 的情况下将每向量存储量减少 32 倍。由于评估时间仅测量一次，我们将其视为指示性的：我们没有发现量化能加速评估的证据，而从中间层采样则会显著缩短评估时间。检索性能的下降远快于其他所有类别，因此我们按任务类别报告结果。
| 评论： | 29 页。发表于 Information Sciences 的开放获取文章的作者版本（CC BY 4.0）。本版本更正了 Marco Polignano 的第二单位隶属关系（Otto von Guericke University Magdeburg）；已发表版本错误地列出了 European Commission, Joint Research Centre（JRC）。Marco Polignano 与 JRC 无隶属关系。其他内容未作更改 |
| 主题： | 计算与语言（cs.CL）；信息检索（cs.IR）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.06859 [cs.CL] |
| （或本版本的 arXiv:2611.06859v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2611.06859 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | Information Sciences 763 (2027) 124271 |
| 相关 DOI： | https://doi.org/10.1016/j.ins.2026.124271
链接到相关资源的 DOI |
提交历史
来自：Marco Polignano [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 18:15:08 UTC（1,301 KB）
来源：arXiv cs.CL · arxiv.org