arXiv cs.AI· Orhun G\"orkem, Athanasios Vasilopoulos, Georgios Pagonis, Victoria Clerico, Hadjer Benmeziane, Irem Boybat, Hsinyu Tsai, Abu Sebastian, William Andrew Simon·· 11 小时前AI 评分22
CAMP：面向 3D-IMC 阵列上 LLM 的上下文感知权重映射与放置算法
CAMP: Context-Aware Mapping and Placement for LLMs on 3D-IMC Arrays
AI 导读
CAMP 是一种面向 3D-IMC 的 LLM 加速器的推理上下文感知权重映射算法，通过冲突矩阵刻画架构、目标网络与运行时上下文引发的资源争用，并用性能分析驱动的反馈循环剪枝搜索空间。该离线软件方案无需改动硬件，将 3D-IMC 计算利用率从 42.4% 提升至 60.3%，相比 SOTA 映射算法实现最高 2.0 倍的 3D-IMC 吞吐和 1.74 倍的端到端吞吐。
正文 · AI 翻译
摘要：大型语言模型（LLM）因加载大型权重矩阵和键值（KV）缓存的开销而承受严重的内存访问负担。模拟内存计算（AIMC）是一种新兴解决方案，可直接对存储在内存中的静态权重进行计算，大幅降低能耗和延迟。3D-IMC 进一步将存储阵列堆叠成垂直层级，提升了容量，但也揭示了一个新挑战：权重在内存中的放置方式决定了哪些矩阵向量乘法（MVM）可以并发执行，从而影响延迟和吞吐量。3D-IMC 权重映射的并发性方面在文献中仍未得到充分探索，导致 3D-IMC 芯片上计算资源的利用欠佳。在此背景下，我们提出 CAMP（上下文感知映射与放置），一种面向基于 3D-IMC 的 LLM 加速器的推理上下文感知权重映射算法。CAMP 将架构、目标网络和运行时上下文所导致的潜在资源争用捕获到冲突矩阵中，从而实现吞吐量优化的权重映射。该映射通过性能分析驱动的反馈循环进行优化，该循环能高效剪枝搜索空间，并在实际运行时间内返回优化后的映射。CAMP 是一种离线、基于软件的解决方案，无需硬件改动，可将 3D-IMC 计算利用率从 42.4% 提升至 60.3%，相比最先进的映射算法，3D-IMC 吞吐量最高提升 2.0 倍，端到端吞吐量最高提升 1.74 倍。
| 学科： | 硬件架构（cs.AR）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.07707 [cs.AR] |
| （或 arXiv:2611.07707v1 [cs.AR] 为本版本） | |
| https://doi.org/10.48550/arXiv.2611.07707 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Orhun Görkem [查看邮箱]
[v1]
2026年11月5日星期四 09:27:31 UTC（2,435 KB）
来源：arXiv cs.AI · arxiv.org