跳到正文
热点事件持续更新

LoL架构:推理时动态排序Transformer层

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

Abdellah Rahmani等作者提出 Library of Layers(LoL)架构,在推理时动态调整 Transformer 层的执行顺序,以应对当前任务。该架构仅用一个超参数——全局 transformer 块库的大小——即可在参数复用与稀疏性之间平滑切换,作者称其统一覆盖稠密、深度循环和 MoE 三类架构的效率权衡。 目前该工作以预印本形式发布在 arXiv cs.CL,尚无同行评审或独立复现结果,动态排序在实际任务中的效果仍待验证。

AI 根据报道生成 · 41 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. arXiv cs.CL
    Library of Layers(LoL):在推理时自适应排序 Transformer 层

    研究者提出 Library of Layers(LoL)架构,在推理时动态调整 Transformer 层的执行顺序,仅用一个超参数——全局 transformer 块库的大小——即可在参数复用与稀疏性之间平滑切换,统一覆盖稠密、深度循环和 MoE 三类架构的效率权衡。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。