HydraLLM：弹性MQA架构与静态转弹性流程

Oscar Kemme 等作者提出 HydraLLM，一种基于多头查询注意力（MQA）的弹性架构：通过激活的注意力头数量决定嵌入、注意力投影、前馈层和输出头的有效宽度，在单一参数集内形成嵌套子网络。作者同时提出把静态模型转换为弹性模型的流程。报道未给出该架构在具体任务上的效果数据。

AI 根据报道生成 · 56 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。