CAMP:3D-IMC上LLM的上下文感知权重映射算法
热点事件持续更新
CAMP:3D-IMC上LLM的上下文感知权重映射算法
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Orhun Görkem 等作者提出 CAMP,一种面向 3D-IMC 阵列上 LLM 加速器的推理上下文感知权重映射与放置算法。它用冲突矩阵刻画架构、目标网络与运行时上下文引发的资源争用,并通过性能分析驱动的反馈循环剪枝搜索空间。 该方案为离线软件方法,无需改动硬件。作者报告称,CAMP 将 3D-IMC 计算利用率从 42.4% 提升至 60.3%,相比现有最优映射算法实现最高 2.0 倍的 3D-IMC 吞吐和 1.74 倍的端到端吞吐。
AI 根据报道生成 · 1 小时前更新
最新进展11月6日 13:00
CAMP:面向 3D-IMC 阵列上 LLM 的上下文感知权重映射与放置算法报道时间线
沿着报道,了解事件的不同侧面。
11月6日
- arXiv cs.AICAMP:面向 3D-IMC 阵列上 LLM 的上下文感知权重映射与放置算法
CAMP 是一种面向 3D-IMC 的 LLM 加速器的推理上下文感知权重映射算法,通过冲突矩阵刻画架构、目标网络与运行时上下文引发的资源争用,并用性能分析驱动的反馈循环剪枝搜索空间。该离线软件方案无需改动硬件,将 3D-IMC 计算利用率从 42.4% 提升至 60.3%,相比 SOTA 映射算法实现最高 2.0 倍的 3D-IMC 吞吐和 1.74 倍的端到端吞吐。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。