研究者提出Ambient SFT微调框架
热点事件持续更新
研究者提出Ambient SFT微调框架
1 篇报道1 个报道来源22 小时前更新
先了解这件事
AI 综述
Giannis Daras等研究者提出Ambient SFT微调框架:用预训练模型的“冻结”版本作为噪声教师,要求微调模型的高温条件分布与预训练模型的高温版本在粗粒度上匹配,温度超参数控制对预训练模型的信任程度——T→∞时退回常规SFT,T=1时为知识蒸馏。 据该研究,该方法在领域适应、指令微调和推理任务上均优于标准SFT,平均相对提升最高达21%。
AI 根据报道生成 · 14 小时前更新
最新进展11月19日 13:00
Ambient LLMs:通过温度匹配实现数据高效监督微调报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- arXiv cs.CLAmbient LLMs:通过温度匹配实现数据高效监督微调
研究者提出 Ambient SFT,用预训练模型的“冻结”版本作为噪声教师,要求微调模型的高温条件分布与预训练模型的高温版本在粗粒度上匹配,温度超参数控制对预训练模型的信任程度,T→∞ 退回常规 SFT,T=1 则为知识蒸馏。该方法在领域适应、指令微调和推理任务上均优于标准 SFT,平均相对提升最高达 21%。
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 811月19日 22:00
- 近 24 小时变化
- –
02468
11月20日03:0006:0009:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。