arXiv cs.CL· Dezhou Shen·· 11 小时前AI 评分31
解锁 Turing Tensor Cores：单张 22G RTX 2080 Ti 上从零预训练的实测吞吐报告
Unlocking Turing Tensor Cores: A Measured Throughput Account of From-Scratch Pre-training on a Single 22G RTX 2080 Ti
AI 导读
研究用 turing-unlock 内核模块在 nvidia 驱动绑定前写入 FP16 速度选择器并释放 ACR mutex，使 cuBLAS FP16 matmul 吞吐从 55.7 提升至 91.4 TFLOPS（约 1.6 倍）。
正文 · AI 翻译
摘要：RTX 2080 Ti（TU102）在硬件上搭载了完整的第二代 Tensor Core，但厂商在驱动层对 FP16 矩阵乘法进行了限速，使可用的张量吞吐量远低于硬件峰值。turing-unlock 通过一个内核模块解除这一限制：在 nvidia 驱动绑定设备之前，写入 FP16 速度选择器（SS0=0x88888888，SS1=0x8）并释放 ACR 互斥锁；已发表的测量报告显示，cuBLAS FP16 矩阵乘法吞吐量从 55.7 TFLOPS 提升至 91.4 TFLOPS（约 1.6 倍）。在同一块 22G 2080 Ti 上，并采用与配套内存账本相同的从零预训练协议（五档中文编码器-解码器模型，每档 2,451 步，每步 16,384 个 token，随机种子 42），我们得到了前后吞吐量对比：小档（75.7M 参数，512 宽，8+8 层，开启激活检查点）的稳态吞吐量从 6,480 tok/s 提升至 7,246 tok/s（+11.8%），实际耗时从 1.77 小时缩短至 1.61 小时（节省 9.0%）；微型档从 15,150 tok/s 提升至 15,866 tok/s（+4.7%），实际耗时节省 3.8%；三个更小的档位（pico-micro）最多提升 +0.3%；各档峰值内存保持逐位一致，最终质量指标逐位一致或在 10^-3 范围内一致。我们得出结论：解锁带来的收益是矩阵规模的函数，随档位单调上升——对 pico-micro 不可察觉，从 tiny 档开始可见，并在 small 档兑现为两位数的百分比——且这是纯粹的吞吐量收益，不改变训练动态。
| 评论： | 7 页，4 张表 |
| 主题： | 硬件架构（cs.AR）；计算与语言（cs.CL）；分布式、并行与集群计算（cs.DC）；性能（cs.PF） |
| ACM 分类： | C.4；I.2.1；I.2.6 |
| 引用为： | arXiv:2611.05419 [cs.AR] |
| （或 arXiv:2611.05419v1 [cs.AR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05419 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Dezhou Shen [查看邮箱]
[v1]
2026 年 11 月 2 日星期一 02:51:56 UTC（285 KB）
来源：arXiv cs.CL · arxiv.org