CAST：面向跨分词器在线策略蒸馏的信用对齐方法

查看 PDF HTML（实验性）

摘要：跨分词器的在线策略蒸馏（OPD）需要先对齐教师和学生的序列，然后才能比较它们的分数。解码文本对齐在块级别提供了这种对应关系，但留下了一个尚未解决的独特问题：信用对齐。块级信号指定了一个片段应该改变多少，但没有指定该信号应如何在学生 token 之间分配，而缺乏教师对应关系的 token 则不受约束。我们提出 CAST（Chunk-aware credit Assignment with Selective Token Anchoring，块感知信用分配与选择性 token 锚定），这是一个 shift-or-stay 框架，可同时解决这两个问题。对于已对齐的块，CAST 利用预测不确定性和局部教师信号平滑度，将每个块的优势重新分配到学生 token 上，强调由局部一致的教师反馈所支持的学习机会，同时保留该块的总优势。由此得到的权重恰好求解了一个 KL 正则化的信用分配问题。对于未对齐的位置，CAST 通过 KL 惩罚选择性地将学生锚定到其初始策略，在教师监督不可用的地方限制漂移。由于信用分配与块构建相分离，CAST 也适用于共享分词下的标点定义块或固定长度块。在六个数学、科学和代码基准上，CAST 在从 Qwen3-8B 到 Mistral-7B 和 Llama-3.1-8B 的跨分词器迁移中，平均分别比最强评估基线提高了 $2.45$ 和 $1.32$ 分，在共享分词器迁移到 Qwen3-1.7B 时提高了 $2.10$ 分。

评论：	22 页，8 幅图，11 张表
主题：	机器学习（cs.LG）；计算与语言（cs.CL）
引用为：	arXiv:2610.13257 [cs.LG]
	（或 arXiv:2610.13257v1 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.13257 arXiv 颁发的 DOI 通过 DataCite（待注册）

提交历史

来自：Jingru Yang [查看电子邮件]
[v1] 2026 年 10 月 9 日星期五 09:03:37 UTC（495 KB）