跳到正文
热点事件持续更新

EKLAV:教师推理链作输入、仅监督最终答案的蒸馏法

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

Adarsh Singh 等作者提出 EKLAV 推理蒸馏方法:把教师的思维链保留在输入序列中作为特权上下文,但只用最终答案做监督,并按任务类型决定把部分或全部推理轨迹移入提示。 在 BRIGHT 段落重排任务上,该方法在两个模型族的四个测试检查点均提升平均 nDCG@10,48 组模型-领域对比中胜出 41 组;训练算力最多降低 31.6%,推理时间最多降低 32.7%。在四个留出表格重排基准中,三个取得最优,平均超过全轨迹蒸馏 3.0 分、超过无推理的纯答案训练 5.5 分。

AI 根据报道生成 · 50 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月19日
  1. arXiv cs.CL
    EKLAV:仅用答案监督、将教师思维链作为特权上下文的推理蒸馏方法

    EKLAV 提出一种推理蒸馏方法:把教师的思维链保留在输入中作为特权上下文,但只用最终答案做监督。在 BRIGHT 段落重排上,它在两个模型族的四个测试检查点均提升平均 nDCG@10,48 组模型-领域对比中胜出 41 组,训练算力最多降低 31.6%、推理时间最多降低 32.7%。在四个留出表格重排基准中三个取得最优,平均超过全轨迹蒸馏 3.0 分、超过无推理的纯答案训练 5.5 分。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。