TraceSampler：让采样误差可预测、可校正的加速生成采样方法

作者：George Matthew (1), Guoqiang Zhang (1), Kenta Niwa (2)（(1) 英国埃克塞特大学，(2) 日本 NTT 通信科学实验室）

摘要：从连续时间生成模型中精确采样可能需要大量模型评估。低步数采样可降低成本，但粗糙的更新会引入端点误差，这些误差会累积并降低生成质量。我们提出 TraceSampler，一种训练后方法，可在不修改预训练模型的情况下校正这些误差。TraceSampler 不直接优化低步数更新，而是将端点误差建模为样本特定的预测问题。对同一区间进行更高步数的参考积分提供监督目标，而紧凑表示使高维误差可从采样轨迹中预测。该表示结合了共享残差结构、轨迹导出方向和低秩余项，因此浅层每步 MLP 头可预测样本相关系数。这些系数驱动两阶段学习式残差校正：第一阶段预测完整端点残差，而中间骨干评估提供新的轨迹信息以预测剩余残差；该评估会被下一步复用。TraceSampler 在 CIFAR-10 上使用 Rectified Flow、在 ImageNet-256 上使用 SiT-XL/2，以及在 SD3.5 Medium 上进行文本到图像生成评估。在 10 步时，它相对于匹配步数的 Euler 将轨迹 MSE 在 CIFAR-10 上降低 90.5%，在 ImageNet-256 上降低 85.6%，同时达到 2.692 和 2.189 的 FID 分数，接近 120 步 Heun 参考的 2.601 和 2.056，而骨干评估次数减少 24$\times$。在 SD3.5 Medium 上，TraceSampler 提升了图像质量和提示词遵循度；在 10 步时，ImageReward 从 0.752 升至 0.906，同时轨迹 MSE 下降 70.7%。这些收益保持了 Euler 的骨干评估预算，增加的推理 FLOPs 少于 0.4%，且墙钟时间开销可忽略，表明粗步数采样误差可从采样轨迹中预测并被高效校正。

学科：	计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI)
引用为：	arXiv:2610.14332 [cs.CV]
	（或 arXiv:2610.14332v1 [cs.CV] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.14332 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：George Matthew [查看电子邮件]
[v1] 2026年10月9日星期五 21:18:54 UTC（6,444 KB）