跳到正文
热点事件持续更新

RELOAD:循环层提升类型化决策模型推理

1 篇报道1 个报道来源10 小时前更新

先了解这件事

AI 综述

David Berghaus 等作者提出 RELOAD 方法,通过在预训练编码器或解码器的中间层块上施加阻尼循环,并与决策模型联合训练,使原本单次前向无法增加测试时计算的类型化决策模型获得推理增益。 在 0.4B 至 4B 参数的六个模型上,作者报告循环同时提升准确率与校准度,编码器在超出训练分布的长推理链问题上最高提升 23 分。轻量控制器按输入自适应选择循环次数,以约四分之三的计算量保留大部分增益。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月6日
  1. arXiv cs.CL
    RELOAD:用循环层扩展类型化决策模型的推理能力

    针对类型化决策模型单次前向无法增加测试时计算的问题,RELOAD 通过在中间层块上施加阻尼循环并与决策模型联合训练,让预训练编码器或解码器获得推理增益。在 0.4B 至 4B 参数的六个模型上,循环同时提升准确率与校准度,编码器在超出训练分布的长推理链问题上最高提升 23 分。轻量控制器按输入自适应选择循环次数,以约四分之三的计算量保留大部分增益。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。