Strata 用游戏显卡在消费级硬件上跑 1250 亿参数千问大模型

Strata 通过混合专家路由机制，让 RTX 5070 加 64GB 内存的普通游戏电脑以每秒 53 到 94 token 的速度运行 1250 亿参数的千问大模型。该方案在仅有 12GB 显存的消费级显卡上运行这一规模模型，模型由 24576 个小型专家组成，每个 token 仅激活其中一部分。