研究者提出BSD统一蒸馏框架
热点事件持续更新
研究者提出BSD统一蒸馏框架
1 篇报道1 个报道来源12 小时前更新
先了解这件事
AI 综述
Runsheng Chen等作者提出 Bridged Self-Distillation(BSD)统一蒸馏框架,可从任何能提供推理轨迹的教师模型蒸馏。外部教师只需离线生成推理轨迹作为特权上下文;学生模型在无上下文条件下生成 rollout,再由条件化于该上下文的学生副本作为自教师,在学生自身 token 空间内为同一批 rollout 打分,并结合验证器提供的结果信号调整失败 rollout 的更新。该框架面向跨分词器与闭源 API 教师的在线策略蒸馏。
AI 根据报道生成 · 3 小时前更新
最新进展10月28日 12:00
Bridged Self-Distillation:统一框架实现跨分词器与闭源 API 教师的在线策略蒸馏报道时间线
沿着报道,了解事件的不同侧面。
10月28日
- arXiv cs.CLBridged Self-Distillation:统一框架实现跨分词器与闭源 API 教师的在线策略蒸馏
研究者提出 Bridged Self-Distillation(BSD),一个可从任意提供推理轨迹的教师模型蒸馏的统一框架。外部教师仅需离线生成推理轨迹作为特权上下文,学生模型在无上下文条件下生成 rollout,再由条件化于该上下文的学生副本作为自教师,在学生自身 token 空间内为同一批 rollout 打分,并结合验证器提供的结果信号调整失败 rollout 的更新。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。