arXiv cs.AI· Jiaqi Tian, Ting Long·· 6 天前AI 评分22
通过表征几何正则化缓解 LLM 自我改进中的能力退化
Mitigating Capability Degradation in LLM Self-Improvement via Representation Geometry Regularization
AI 导读
针对 On-Policy Self-distillation（OPSD）自我改进方法会逐步退化模型已有能力的问题，研究者提出表征几何正则化（RGR），通过增强簇内紧凑性与簇间分离度来保持隐藏表征几何。RGR 可无缝集成进现有 OPSD 方法而不改变其核心优化流程，在多种 OPSD 方法与基准上普遍缓解了能力退化，同时保留能力提升。代码已开源。
正文 · AI 翻译
摘要：On-Policy Self-distillation 是一种自我改进范式，它使大语言模型（LLM）能够在不同的条件上下文下，将同一模型同时用作教师和学生，从而提升自身能力。然而，我们发现 OPSD 方法会逐步削弱先前已获得的能力：在训练早期能够正确回答的查询，随着优化推进可能变得回答错误，即使整体性能仍在持续提升。进一步分析表明，这种退化与隐藏表示几何结构的恶化同时发生，其特征是簇内紧凑性降低和簇间分离度下降。受此观察启发，我们提出了表示几何正则化（RGR），它通过在簇内鼓励紧凑性、在簇间鼓励分离性，在后训练过程中保持表示几何结构。RGR 可以无缝集成到现有的 OPSD 方法中，而无需改变其核心优化过程。在多种 OPSD 方法和基准上的大量实验表明，RGR 通常能缓解能力退化，同时保留能力提升。我们的代码可在 此 https URL 获取。
| 评论： | 15 页，5 张图 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.12855 [cs.AI] |
| （或 arXiv:2610.12855v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12855 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jiaqi Tian [查看邮箱]
[v1]
2026 年 10 月 9 日星期五 01:28:50 UTC（1,390 KB）
来源：arXiv cs.AI · arxiv.org