arXiv cs.AI· Harun Bayraktar, John Gunnels, Peter Caday·· 9 天前AI 评分22
TME 模型缺失的第四项：残差解构成本
The Missing Fourth Term for the Emulation Tensor Memory Equilibrium (TME) Model: The Residue Deconstruction Cost
AI 导读
针对 "FP8 is All You Need (Part 1)" 提出的 TME 模型，该研究补上了被遗漏的逐输入解构成本，并推导出闭式运算强度阈值 OI* = c_q r P_fp64/(8P_int)。
正文 · AI 翻译
摘要：“FP8 is All You Need（第 1 部分）”中的张量-内存均衡（TME）模型将 fp64 的 Ozaki Scheme II 模拟的执行时间计算为张量核心项和高带宽内存（HBM）流量项的最大值，再加上每个输出的重建项。然而，它忽略了每个输入的分解成本：每个流式 fp64 操作数都必须在 SIMT 流水线上进行缩放、舍入，并对 $r$ 个模数中的每一个取模约简，之后才能发出任何矩阵乘法。在本注记中，我们加入这第四项，从 cuBLAS 模拟路径校准其常数，并推导出一个闭式运算强度阈值 $\mathrm{OI}^{*} = c_q r P_{\mathrm{fp64}}/(8P_{\mathrm{int}})$，低于该阈值时，无论张量核心吞吐量如何，模拟都无法匹敌原生 fp64。在 NVIDIA B300 GPU 上，该阈值约为 $\mathrm{OI}^{*}\approx 0.56$ FLOP/B。因此，GEMV、SpMV 和低批量 GEMV——即原论文声称可加速的内存受限内核——被限制在原生性能的 0.3-0.9 倍，而七点模板仅为 1.8 倍，而非所声称的 3.1 倍。稠密 GEMM 如预期不受影响。我们还表明，预计算并存储余数会将相同的成本转移到带宽项中，并给出了实现若要推翻该界限所需达到的指令数。
| 主题： | 硬件架构（cs.AR）；人工智能（cs.AI）；性能（cs.PF） |
| MSC 分类： | 65Y10, 65Y20 |
| ACM 分类： | C.4; G.1.0; G.4; C.1.2 |
| 引用为： | arXiv:2610.10924 [cs.AR] |
| （或 arXiv:2610.10924v1 [cs.AR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10924 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Harun Bayraktar [查看电子邮件]
[v1]
2026 年 10 月 7 日星期三 21:27:35 UTC（6 KB）
来源：arXiv cs.AI · arxiv.org