Neighborhood On-Policy Self-Distillation：用邻近参数扰动增强数学推理监督

研究提出 Neighborhood On-Policy Self-Distillation，在 on-policy 自蒸馏（OPSD）中对特权教师模型做局部参数扰动，发现邻近参数设置能在同一参考解上下文中提供互补的、与参考对齐的修正，且不同专家在不同参考位置给出修正，其合集覆盖的位置多于未扰动的特权教师。该方法用于训练数学推理模型。