跳到正文
热点事件持续更新

CAMP:3D-IMC上LLM的上下文感知权重映射算法

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Orhun Görkem 等作者提出 CAMP,一种面向 3D-IMC 阵列上 LLM 加速器的推理上下文感知权重映射与放置算法。它用冲突矩阵刻画架构、目标网络与运行时上下文引发的资源争用,并通过性能分析驱动的反馈循环剪枝搜索空间。 该方案为离线软件方法,无需改动硬件。作者报告称,CAMP 将 3D-IMC 计算利用率从 42.4% 提升至 60.3%,相比现有最优映射算法实现最高 2.0 倍的 3D-IMC 吞吐和 1.74 倍的端到端吞吐。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月6日
  1. arXiv cs.AI
    CAMP:面向 3D-IMC 阵列上 LLM 的上下文感知权重映射与放置算法

    CAMP 是一种面向 3D-IMC 的 LLM 加速器的推理上下文感知权重映射算法,通过冲突矩阵刻画架构、目标网络与运行时上下文引发的资源争用,并用性能分析驱动的反馈循环剪枝搜索空间。该离线软件方案无需改动硬件,将 3D-IMC 计算利用率从 42.4% 提升至 60.3%,相比 SOTA 映射算法实现最高 2.0 倍的 3D-IMC 吞吐和 1.74 倍的端到端吞吐。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。