arXiv cs.AI· Yunbo Long, WenJie Chen, Jiaquan Zhang, Guangya Hao, Zihang Zeng, Pengze Li, Xi Chen·· 10 天前AI 评分26
SPECTRUM：面向循环自蒸馏的近端谱调制
SPECTRUM: Proximal Spectral Modulation for Looped Self-Distillation
AI 导读
研究提出循环自蒸馏（Looped Self-Distillation）框架，模型在固定信息预算下反复从自身原始输出学习，发现正确率提升的同时正确实现多样性会收缩。
正文 · AI 翻译
摘要：一个从自身输出中学习的模型继承的不仅是这些输出的正确性：它还继承了自身会产生哪些解法。我们提出 Looped Self-Distillation，一种用于代码生成的自演化框架，其中模型在固定的信息预算下反复生成并学习自身的原始输出，无需持续的外部评估或基于测试的生成样本筛选。我们发现了一种重要的分离现象：正确性可以提高，而正确实现的广度却在收缩。我们提出 SPECTRUM，它在每一轮从固定的参考锚点重新估计对损失敏感的关键/值几何结构，并将其转换为满秩近端谱调制。所有生成的补全结果都用于训练同一个学生模型，其后续推理无需任何干预。在 MBPP 上经过五轮实验后，SPECTRUM 保留了初始模型 64 样本正确 AST 丰富度的 89.9%，而 Vanilla 自蒸馏为 66.4%，子空间投影对照组为 65.5%。在匹配正确样本数量时这一优势依然存在。无需进一步训练或重新校准，所得学生模型在 HumanEval+ 和 APPS Intro 上也取得了高于 Vanilla SD 的匹配正确丰富度，表明多样性收益具有可迁移性。这些发现确立了正确解法保留作为递归自我改进（RSI）的一个互补目标，并表明生成时的干预可以改善后续学生模型所保留的解法库。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.07237 [cs.AI] |
| （或使用 arXiv:2610.07237v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.07237 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Yunbo Long [查看邮箱]
[v1]
2026年10月5日星期一 18:43:09 UTC（4,740 KB）
来源：arXiv cs.AI · arxiv.org