跳到正文
热点事件持续更新

研究者提出TVP损失族,提升投机解码接受长度

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

研究者 Aaryam Sharma 提出 TVP,一种基于期望接受长度的损失函数族,用于投机解码中的草稿模型训练。其幂参数可在覆盖导向与接受导向目标之间插值;将幂从 0 退火到 1 后,在三种 drafter 架构与三种目标模型上取得最高或并列最高的接受长度,较交叉熵(CE)损失提升 9.8%。

AI 根据报道生成 · 45 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. arXiv cs.CL
    TVP:面向投机解码的 TV 距离损失族,接受长度较 CE 提升 9.8%

    研究者提出 TVP,一种基于期望接受长度的损失族,其幂参数可在覆盖导向与接受导向目标间插值,将幂从 0 退火到 1 后,在三种 drafter 架构与三种目标模型上取得最高或并列最高的接受长度。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。