研究:LLM直接编写权重,无需Transformer
热点事件持续更新
研究:LLM直接编写权重,无需Transformer
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
一项研究让三个前沿大模型在不做梯度训练的情况下直接生成权重或自行设计架构,三者都把纯文本事实编译成稀疏表,再用固定流程查询,测试准确率最高为54.4%。 LLM自行设计的模型准确率超过同一LLM手写权重的最准Transformer,参数量少约1,800倍。作者据此提出基于联想记忆的模型,称其在GPU上比同尺寸Transformer快最多17倍。 论文由Hyunjong Ok与Jaeho Lee发表,研究的是权重空间编程,即由LLM直接写出目标权重、不依赖梯度训练。
AI 根据报道生成 · 1 小时前更新
最新进展11月18日 13:00
无需 Transformer:LLM 直接编写权重时更倾向稀疏表结构报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- arXiv cs.AI无需 Transformer:LLM 直接编写权重时更倾向稀疏表结构
研究让三个前沿 LLM 在无梯度训练条件下直接生成权重或自行设计架构,结果三者均将纯文本事实编译为稀疏表并用固定流程查询,测试准确率最高达 54.4%。LLM 自行设计的模型准确率超过同一 LLM 手写权重的最准 Transformer,参数量少约 1,800 倍。作者据此提出基于联想记忆的模型,在 GPU 上比同尺寸 Transformer 快最多 17 倍。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。