SPECTRUM：面向循环自蒸馏的近端谱调制

研究者提出循环自蒸馏（Looped Self-Distillation）框架，让模型在固定信息预算下反复从自身原始输出中学习，无需外部评估或基于测试的样本筛选。他们发现正确率提升的同时，正确实现的多样性会收缩，并为此提出 SPECTRUM，通过重新估计对损失敏感的 key/value 几何结构来缓解这一问题。