arXiv cs.AI· Srinidhi N, Sunanda Somwase, Hemant Kumar Chandrakant Chandavar, Eashan Dash, Varun Agrawal, Prakash Raghavendra·· 14 小时前AI 评分31
Waypoint：为 CPU 上的 GEMM 建立解析模型
Waypoint: Analytically Modeling GEMM for CPUs
AI 导读
Waypoint 是一个解析模型，可为给定硬件和输入矩阵形状自动搜索最优 GEMM 分块尺寸，估算时涵盖存储层次交互、指令级并行与多线程等架构效应。基于该模型构建的 CPU GEMM 库 OPAM 性能可匹敌当前最优 GEMM 库，并将 CPU 上的 LLM 推理加速 1.36-1.98 倍。
正文 · AI 翻译
摘要：高性能通用矩阵乘法（GEMM）实现依赖于将 GEMM 分解为精心选择的瓦片（tile）以达到峰值性能。我们提出 Waypoint，一种新的分析模型，可针对给定硬件和输入矩阵形状自动识别最优瓦片大小。Waypoint 通过捕捉所有架构效应（包括与内存层次结构的交互、指令级并行和多线程）来估计给定瓦片选择可达到的性能。以这些估计作为代理，我们在可能的瓦片大小空间中搜索，以找出使性能最大化的瓦片大小。此外，Waypoint 可帮助硬件设计人员估计实验性硬件优化上的实际性能。我们构建了一个新的 CPU GEMM 库 OPAM，它使用 Waypoint 自动分解 GEMM，达到与最先进 GEMM 库相匹配的性能，并帮助加速 CPU 上的 LLM 推理，实现 $1.36 - 1.98 \times$ 的加速。
| 主题： | 分布式、并行与集群计算（cs.DC）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.34914 [cs.DC] |
| （或 arXiv:2610.34914v1 [cs.DC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34914 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Srinidhi Nagendra [查看电子邮件]
[v1]
2026年10月26日星期一 06:40:51 UTC（265 KB）
来源：arXiv cs.AI · arxiv.org