斯坦福 CS336 课程解析 LLM 推理优化全链路

斯坦福 CS336 课程讲义将 LLM 推理优化拆为架构层、算法层与系统层三条路径：架构层用 GQA、量化等有损压缩，算法层用投机采样等无损加速，系统层迁移分页、连续批处理等经典 OS 思想。其核心逻辑是通过减少每步搬运的字节数突破内存带宽瓶颈。