arXiv cs.AI· Jinane Bazzi, Mariam Rakka, Fadi Kurdahi, Mohammed E. Fouda, Ahmed Eltawil·· 13 小时前AI 评分38
EdgeCIM：面向小语言模型 CIM 加速的软硬件协同设计框架
EdgeCIM: A Hardware-Software Co-Design for CIM-Based Acceleration of Small Language Models
AI 导读
EdgeCIM 是一个针对边缘设备上小语言模型自回归解码的软硬件协同设计框架，核心为 65 nm 实现的 CIM macro，配合分块映射策略缓解 DRAM 带宽瓶颈。
正文 · AI 翻译
摘要：在边缘设备（包括笔记本电脑、智能手机、汽车与机器人计算平台以及高性能嵌入式系统）上部署小型语言模型（SLM）的需求日益增长，这暴露出既有加速器的根本性低效。GPU 能高效处理预填充（prefill）负载，但自回归解码阶段由本质受限于内存的 GEMV 运算主导，导致边缘端利用率低下、能耗成本高昂。在本工作中，我们提出 EdgeCIM，一个面向延迟敏感应用中边缘设备上 SLM 自回归解码加速的软硬件协同设计框架。其核心是一个以 65 nm 工艺实现的 CIM 宏单元，并配合基于 tile 的映射策略，该策略平衡流水线各阶段，在最大化并行度的同时缓解 DRAM 带宽瓶颈。我们的模拟器支持对参数量最高达 4B 的 SLM 进行设计空间探索，依据可配置的目标函数识别出优化延迟与能耗的硬件配置。在 LLaMA3.2 3B（INT4）上，EdgeCIM 的吞吐量分别达到以 MAXN 模式运行的 NVIDIA Jetson AGX Orin 和 Orin Nano Super 的 1.76 倍和 3.21 倍，并达到高通 Snapdragon-X Elite 的 7.07 倍。在 TinyLLaMA 1.1B、LLaMA3.2（1B、3B）、Phi 3.5 mini 3.8B、Qwen2.5（0.5B、1.5B、3B）、SmolLM2 1.7B、SmolLM3 3B 以及 Qwen3（0.6B、1.7B、4B）上的大量基准测试表明，我们的加速器在 INT4 精度下平均达到 336.4 tokens/s 和 173 tokens/J。这些结果确立了 EdgeCIM 作为面向边缘端实时、高能效、延迟敏感 SLM 推理的有力解决方案。
| 评论： | 已被 IEEE TCAD 接收 |
| 主题： | 硬件架构（cs.AR）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.11512 [cs.AR] |
| （或 arXiv:2604.11512v2 [cs.AR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.11512 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mohammed Fouda [查看邮箱]
[v1]
2026 年 4 月 13 日星期一 14:16:20 UTC（1,319 KB）
[v2]
2026 年 10 月 27 日星期二 19:36:31 UTC（2,466 KB）
来源：arXiv cs.AI · arxiv.org