投机解码机制与 Apple Silicon 加速详解

投机解码通过快速草案模型与目标验证模型协作绕过 LLM 推理的内存带宽瓶颈，采用 min(1, p/q) 接受标准和残差分布采样。Uzu 推理引擎在 Apple M5 上实现了 4 倍吞吐量。