跳到正文
热点事件持续更新

Sam Altman 称本地推理浪费资源

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

OpenAI CEO Sam Altman 称,从全球资源分配角度看,让有限的 DRAM 供应分散在个人电脑里、却只有 5% 的时间在用,相当糟糕;按每 token 算,数据中心轻松胜出,batch size 为 1 的本地模型按任何利用率指标看都是浪费。 但他也承认,本地模型是整个技术栈中唯一没人能对你弃用的部分。

AI 根据报道生成 · 58 分钟前更新

最新进展10月30日 07:24
Sam Altman 谈本地推理的浪费

报道时间线

沿着报道,了解事件的不同侧面。

10月30日
  1. RadarAI
    Sam Altman 谈本地推理的浪费

    Sam Altman 指出,从全球资源分配角度看,让世界上有限的 DRAM 供应分散在每个人自己的电脑里、却只有 5% 的时间在用,相当糟糕。按每 token 算,数据中心轻松胜出,batch size 为 1 的本地模型按任何利用率指标看都是浪费。但他也承认,本地模型是整个技术栈中唯一没人能对你弃用的部分。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。