arXiv cs.CL· Suwan Wu, Yumeng Lin, Pengcheng Yuan, Xiaolong Jiang·· 10 小时前AI 评分22
统一逐 Token 门控家族：FKL/RKL 混合与多通道、偏置系数的在线策略蒸馏
A Unified Per-Token Gating Family for On-Policy Distillation: FKL/RKL Mixing with Multi-Channel and Bias Coefficients
AI 导读
研究提出四系数参数化 λ_t = σ(a·h_t + b·u(x) + c + d·gap_t)，将 EOPD 与 ToDi 的方向对齐代理统一为其中一维特例，并新增多通道组合与显式偏置。
正文 · AI 翻译
摘要：对前向/反向 KL 损失进行逐 token 门控已成为在线策略知识蒸馏（OPD）的标准技术，但 EOPD（Jin 等，2026）和 ToDi（Jung 等，2025）等现有方法各自固定单一门控信号和单一门控方向，二者从未被直接比较。我们引入四系数参数化 lambda_t = sigma(a * h_t + b * u(x) + c + d * gap_t)，其中 EOPD 和 ToDi 的方向对齐代理表现为一维（1D）限制，并额外加入多通道组合和显式偏置作为进一步自由度。在 TweetEval（Barbieri 等，2020）情绪和仇恨任务上，使用 Qwen3-32B 教师模型和 Qwen3-4B 学生模型，完整参数族中的配置在 36 个可比单元中的 33 个上达到比匹配幅度的单通道（仅熵/仅 gap）1D 限制更高的准确率，而 26 单元均值匹配隔离实验在 26 个单元中的 19 个上将动态门控置于有效 KL 匹配的静态基线之前。由于各单元共享训练数据、模型和参数子结构，我们将这两个计数报告为探索性聚合方向证据，而非独立假设检验。针对该扫描选出的九个主要比较进行的三种子配对重复实验——包括第三个任务 offensive——在方向上一致，但单独来看小于单种子估计，且在 n=3 时不显著。因此，我们主要将该参数化呈现为用于比较短输出分类 OPD 中逐 token 门控设计的共享坐标系。
| 评论： | 已被 2026 年自然语言处理经验方法会议（EMNLP 2026 Findings）的 Findings 接收 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2609.11768 [cs.AI] |
| （或此版本的 arXiv:2609.11768v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2609.11768 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Suwan Wu [查看电子邮件]
[v1]
2026 年 9 月 10 日星期四 16:22:35 UTC（141 KB）
[v2]
2026 年 10 月 30 日星期五 08:23:06 UTC（150 KB）
来源：arXiv cs.CL · arxiv.org