arXiv cs.AI· Heng Li, Yong Zhang, Ning Cheng, Zhigen Li, Yun Zhu, Yanmeng Wang, Shaojun Wang, Jing Xiao·· 9 天前AI 评分21
PIVOT：基于困惑度的 KD-to-RL 动态切换调度，用于垂直领域小样本蒸馏
PIVOT: Perplexity-Informed KD-to-RL Transition Scheduling for Vertical-Domain Few-Shot Distillation
AI 导读
PIVOT 是一种动态切换框架，依据教师模型评估的序列困惑度在 OPD 与 GRPO 之间路由样本：低困惑度样本转入 GRPO 做奖励驱动精炼，高困惑度样本留在 OPD 继续获取领域知识。
正文 · AI 翻译
摘要：垂直领域小样本分类对小型语言模型而言仍具挑战性，因为有限的监督使其难以获得领域特定的决策知识。On-Policy Distillation（OPD）可以通过监督学生模型生成的 rollout 来改进教师引导的适配，而基于 GRPO 的强化学习可以进一步优化下游预测。然而，现有的 KD-to-RL 流程通常依赖全局固定的转换调度，忽略了不同样本在奖励驱动的精炼之前可能需要不同数量的教师引导获取。我们提出 PIVOT（Perplexity-Informed Transition Optimization），一种动态转换框架，根据教师评估的序列困惑度在 OPD 和 GRPO 之间路由样本。PIVOT 将低困惑度样本转入 GRPO 进行奖励驱动的精炼，同时让高困惑度样本继续接受 OPD 以持续获取领域知识。在 Banking77 和 HWU64 上的实验表明，在相同的预热后学生优化步数下，PIVOT 始终优于持续 OPD 和全局同步的 OPD$\rightarrow$GRPO 基线，实现了更强的下游性能和更稳定的训练动态。
| Comments: | Accepted to Findings of EMNLP 2026 |
| Subjects: | 机器学习（cs.LG）；人工智能（cs.AI） |
| Cite as: | arXiv:2610.11167 [cs.LG] |
| （或使用 arXiv:2610.11167v1 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.11167 arXiv 颁发的 DOI，经由 DataCite（待注册） |
Submission history
来自：Yong Zhang [查看邮箱]
[v1]
2026年10月8日星期四 03:24:55 UTC（2,250 KB）
来源：arXiv cs.AI · arxiv.org