arXiv cs.AI· Maryam Arshad, Muhammad Khuram Shahzad·· 1 天前AI 评分20
CAFIN：基于 CUDA 内核融合加速 AdaFisher 二阶优化器
CAFIN: CUDA-accelerated Adaptive Fisher Information Matrix Network Optimization via GPU-Native Kernel Fusion
AI 导读
CAFIN 是一个 GPU 原生 CUDA 内核融合框架，在不改变 AdaFisher 优化公式的前提下提升其执行效率。在 GTX 1660 Ti 和 RTX 3060 Laptop 上，FIM 构建延迟最多降低 78.4%，优化器单步延迟降低 2.1-26.9%，每步减少约 18.91 MB 中间显存分配。数值验证在 FP32 容差内保持一致，收敛精度可比。
正文 · AI 翻译
摘要：二阶优化器利用曲率信息改进深度神经网络训练，但其实际效率受限于 GPU 执行开销。AdaFisher 通过对角 Kronecker 结构和指数移动平均降低了 Fisher 信息矩阵（FIM）近似成本，然而其 PyTorch 实现需要顺序启动 CUDA 内核、分配中间张量并重复访问内存。我们提出 CAFIN，一个 GPU 原生 CUDA 内核融合框架，在不改变 AdaFisher 优化公式的前提下提升其执行效率。所提方法逐步将 FIM 预条件子构建、指数移动平均更新、梯度预条件、动量累积、权重衰减和参数更新集成到融合 CUDA 内核中。共享内存复用、寄存器驻留计算和原地操作进一步减少了内存流量和中间分配。在 NVIDIA GTX 1660 Ti 和 RTX 3060 Laptop GPU 上使用 ResNet-18 在 CIFAR-10、CIFAR-100 和 Tiny ImageNet 上进行的实验表明，孤立 FIM 构建延迟最多降低 78.4%，优化器步延迟降低 2.1-26.9%。该实现还消除了每个优化器步约 18.91 MB 的中间 GPU 内存分配。数值验证确认在预定义 FP32 容差内保持一致，同时在评估数据集和随机种子上收敛精度保持可比。这些发现表明，CUDA 内核融合可以在保留 AdaFisher 底层数学公式和学习行为的同时显著加速二阶优化。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.14589 [cs.LG] |
| （或 arXiv:2611.14589v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14589 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Muhammad Khuram Shahzad [查看电子邮件]
[v1]
2026年11月10日星期二 07:45:44 UTC（5,616 KB）
来源：arXiv cs.AI · arxiv.org