跳到正文
RadarAI· AIGCLINK·· 8 小时前AI 评分62

Inkling 2 Mini 开源模型发布:循环 Transformer 架构,26.4B 参数激活 3.4B

Inkling 2 Mini:循环 Transformer 架构的高效开源模型

AI 导读

Inkling 2 Mini 是由前 OpenAI CTO Mira Murati 团队开发的开源模型,采用循环 Transformer 架构,总参数 26.4B、激活 3.4B。模型让 12 层循环运行 3 遍,用 24 层权重承担 48 层的工作量,对照实验显示不循环版本需要更多开销。

来源:RadarAI · bestblogs.dev