跳到正文
热点事件持续更新

研究者提出BSD统一蒸馏框架

1 篇报道1 个报道来源12 小时前更新

先了解这件事

AI 综述

Runsheng Chen等作者提出 Bridged Self-Distillation(BSD)统一蒸馏框架,可从任何能提供推理轨迹的教师模型蒸馏。外部教师只需离线生成推理轨迹作为特权上下文;学生模型在无上下文条件下生成 rollout,再由条件化于该上下文的学生副本作为自教师,在学生自身 token 空间内为同一批 rollout 打分,并结合验证器提供的结果信号调整失败 rollout 的更新。该框架面向跨分词器与闭源 API 教师的在线策略蒸馏。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv cs.CL
    Bridged Self-Distillation:统一框架实现跨分词器与闭源 API 教师的在线策略蒸馏

    研究者提出 Bridged Self-Distillation(BSD),一个可从任意提供推理轨迹的教师模型蒸馏的统一框架。外部教师仅需离线生成推理轨迹作为特权上下文,学生模型在无上下文条件下生成 rollout,再由条件化于该上下文的学生副本作为自教师,在学生自身 token 空间内为同一批 rollout 打分,并结合验证器提供的结果信号调整失败 rollout 的更新。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。