Sam Altman 谈本地推理的浪费

AI 导读

Sam Altman 指出，从全球资源分配角度看，让世界上有限的 DRAM 供应分散在每个人自己的电脑里、却只有 5% 的时间在用，相当糟糕。按每 token 算，数据中心轻松胜出，batch size 为 1 的本地模型按任何利用率指标看都是浪费。但他也承认，本地模型是整个技术栈中唯一没人能对你弃用的部分。

正文 · AI 翻译

Rohan Paul· @rohanpaul_ai · X·2026-10-30 07:24· 36 分钟前AI 评分47

AI 导读

Sam Altman 谈本地推理。 “从全球资源分配的角度看，让每个人、让世界上有限 DRAM 供应中的一大批都放在自己的电脑里、却只有 5% 的时间在用，这相当糟糕” 按每 token 算，数据中心轻松胜出。batch size 为 1 的本地模型按任何利用率指标看都是浪费，但它也是整个技术栈中唯一没人能对你弃用的部分。https://x.com/morqon/status/2115838856524120128/video/1

正文 · 原文

Sam Altman 谈本地推理。

“从全球资源分配的角度看，让每个人、让世界上有限 DRAM 供应中的一大批都放在自己的电脑里、却只有 5% 的时间在用，这相当糟糕”

按每 token 算，数据中心轻松胜出。batch size 为 1 的本地模型按任何利用率指标看都是浪费，但它也是整个技术栈中唯一没人能对你弃用的部分。https://x.com/morqon/status/2115838856524120128/video/1

来源：Rohan Paul · x.com

来源：RadarAI · aihot.news