arXiv cs.AI· Tingfeng Lan, Zirui Wang, Yunjia Zheng, Zhaoyuan Su, Juncheng Yang, Yue Cheng·· 2 天前AI 评分31
TensorDex：面向现代 AI 模型的紧凑张量中心存储系统
TensorDex: A Compact, Tensor-Centric Storage System for Modern AI Models
AI 导读
TensorDex 是一个无损、以张量为中心的存储系统，在张量粒度上做 delta 压缩，用紧凑的位级指纹预测张量对的可压缩性，并将张量增量组织成多中心聚类以选取有效基模型。
正文 · AI 翻译
摘要：现代模型中心存储着数百 PB 的大型语言模型（LLM），其中微调变体占据了绝大部分存储空间。这些变体之间存在大量跨模型冗余，增量压缩可通过仅存储目标模型与参考模型之间的差异来加以利用。然而，压缩效果关键取决于能否选择相似的参考模型。在模型中心规模下，这颇具挑战，因为模型谱系元数据往往缺失或不可靠，而且同一模型内的不同张量可能与来自不同模型的张量最为相似。因此，模型级配对会留下大量未被利用的冗余。
我们提出 TensorDex，一个无损、以张量为中心的存储系统，在张量粒度上执行增量压缩。TensorDex 将模型分解为张量，使用紧凑的位级指纹来预测张量对的压缩性，并随着新模型的到来，将张量增量式地组织为多中心聚类，以选择有效基。在 2,890 个随机采样的 Hugging Face 模型上进行评估，TensorDex 将存储占用降低 70.5%，比当前最先进的设计低 37%。它实现了 22.9 GB/s 的压缩吞吐量和 28.4 GB/s 的解压吞吐量，分别比次优系统快 3.86 倍和 1.49 倍。
| 评论： | 12 页，6 幅图。关于 AI 模型存储的系统论文 |
| 主题： | 分布式、并行与集群计算（cs.DC）；人工智能（cs.AI）；机器学习（cs.LG） |
| ACM 分类： | D.4.2; E.5; I.2.6 |
| 引用为： | arXiv:2604.17104 [cs.DC] |
| （或本版本使用 arXiv:2604.17104v3 [cs.DC]） | |
| https://doi.org/10.48550/arXiv.2604.17104 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tingfeng Lan [查看邮箱]
[v1]
2026 年 4 月 18 日星期六 18:40:29 UTC（1,771 KB）
[v2]
2026 年 5 月 12 日星期二 19:14:25 UTC（1,762 KB）
[v3]
2026 年 10 月 15 日星期四 03:05:30 UTC（1,846 KB）
来源：arXiv cs.AI · arxiv.org