跳到正文
Hacker News· datascientist·· 12 小时前AI 评分34

Pete Warden 谈本地 AI、开放模型、语音接口与硬件未来

Pete warden on local AI, open models, voice interfaces, the future of hardware

AI 导读

Moonshine Voice 联合创造者 Pete Warden 认为本地 AI 能力被低估,开放权重模型在基准测试上仅落后 Anthropic 和 OpenAI 商业模型几个月,已能满足多数使用需求。

正文 · AI 翻译

Pete Warden 谈本地 AI、开放模型、语音界面与硬件的未来。


订阅:Apple • Spotify • Overcast • Pocket Casts • YouTube •  AntennaPod • Podcast Addict • Amazon •  RSS。

Pete Warden,Moonshine Voice 的联合创始人,也是一位资深的深度学习工程师,与我一起探讨为什么 AI 越来越倾向于在本地运行而非云端。我们讨论了开放权重模型的快速进展、在笔记本电脑和浏览器中运行 AI 需要什么,以及低延迟语音模型如何让语音成为更自然的界面。我们还讨论了专用模型与端到端模型的对比、本地 AI 的经济性,以及可能挑战当今以 GPU 为中心的基础设施的新兴硬件方案。[本期节目最初播出Generative AI in the Real World,这是我为 O’Reilly 主持的一档播客系列。]

订阅 Gradient Flow Newsletter

访谈亮点——视频版中的关键片段:

跳转到文字稿



相关内容:


订阅我们的新闻通讯📩,支持我们的工作


文字稿

以下是经过润色和编辑的文字稿。

Ben Lorica。 好的。今天我们请来了一位老朋友,Useful Sensors 的 Pete Warden,他们的主网站实际上是在 moonshine.ai。如果你访问那个网站,你会看到他们非常专注于设备端语音,我们肯定会和 Pete 聊聊所有关于语音和边缘计算的事情。但我确实想利用 Pete 作为深度学习领域元老工程师之一的身份,让他谈谈他对当下形势的看法。那么,Pete,欢迎回到播客。

Pete Warden。 谢谢你邀请我,Ben。

Ben Lorica。 好的。那么我想说,Pete,我不知道这个概括是否公允,但你工作的一个主要方向就是这样一个理念:本地 AI 不必做出妥协。事实上,这是人们应该更认真对待的事情。正如我提到的,我们肯定会聊你在设备端语音模型上的工作。但宽泛地说,Pete,对于我们的听众中那些并不太关注本地模型的人,如果一个人想在笔记本电脑上运行模型——不是手机,只是笔记本电脑——我们现在处于什么阶段?易用性方面是什么状况?我猜其中一个障碍是,使用云端 API 总是更容易,对吧?那么围绕本地 AI 的工具链,我们现在处于什么位置?

Pete Warden。 是的。所以目前的情况就像许多开源项目一样。每年都会是 Linux 桌面之年。我认为对普通用户来说,这类东西的易用性总会有一点滞后,但我认为营销上的滞后更大,因为靠本地模型很难赚钱。

这意味着像 Anthropic 和 OpenAI 这样的大公司,甚至广义上的大型科技公司,都不会去推动这件事。如果你给他们一个选择:一边是你能真正赚到钱的 SaaS 服务,另一边是这种东西——你甚至不会知道人们在用它,因为他们根本不会联系你的服务——每家公司都会选择那个有轻松订阅收入模式的方向。

这意味着你会看到大量围绕这些工具的营销,而这些工具基本上只是网站上的一个小文本框。所以这意味着大多数人从未听说过这些本地模型。

现在,如果你使用像 Ollama 这样的东西——它可能是最知名的——我认为人们会对它的使用简便程度以及模型的质量感到惊喜。我最近看到一些消息说,Anthropic 实际上有点担心,因为人们开始转向更专门的模型,而不是总是去用那个最庞大、最昂贵的可用模型。

本地模型在基准测试中实际上表现很好。它们的能力仍然只比 Anthropic 和 OpenAI 的大型商用模型落后几个月。但我也相信,本地模型已经达到了能够完成人们想用它们做的事情的程度。

我真正希望的是,这会是那种情况——对于我们这些年纪够大、还记得互联网泡沫的人来说——当时人们花几千美元买 SPARC 服务器,或者使用 Microsoft IIS 并支付巨额费用,因为 Web 服务器被视为如此神秘的东西。然后,当然,Apache、Nginx 以及所有这些替代方案,一旦人们真正有时间环顾四周,而替代方案也有了一点时间改进,就把商业替代方案彻底碾压了。

我不知道我们是否会完全走到那一步,但这就是我看到的模式。

Ben Lorica。是的,我的感觉是,开放模型——无论你对开放的定义是什么,我猜主要是指开放权重——最终会胜出。在我看来,这似乎合理得多。

正如你提到的,在 Linux 与 Solaris 的早期,甚至 Postgres 和 MySQL 与 Oracle 的早期,人们远不能确定这些开源项目会发展到让我们不得不认真对待的程度。但最终,我认为它们是技术栈中如此重要的部分,以至于人们会选择开放替代方案。

说到这个,Pete,你提到了 Ollama,对吧?显然还有其他替代方案。为便于讨论,我们假设它们确实易于安装和使用。就模型而言,你有 Gemma 之类的,还有其他小模型,对吧?要运行这些模型,让人不必为每个提示等上 20 分钟,需要什么样的硬件?

Pete Warden。所以这在很大程度上取决于你的模型选择。

Ben Lorica。是的。

Pete Warden。如今你可以获得能力很强的模型,比如 90 亿参数的模型。尤其是如果你看看 Qwen 系列模型,它们往往表现很好,尽管还有很多其他替代方案。

Ben Lorica。但 Pete,翻译一下。对用普通笔记本电脑的人来说,90 亿是大还是小?

Pete Warden。所以关键在于你能否把它装进显卡内存。通过权重量化,90 亿参数如果是 8 位,大约就是 9GB。现在出货的许多不错的中端笔记本电脑内存都超过这个数。

但使用 Q4——还有各种方案——你实际上可以把它降到 4GB 显卡里,而这样的显卡广泛可得。很多更老的笔记本电脑也有这么多 GPU 内存,也就是 VRAM。

所以实际上,硬件门槛比人们想象的低得多。另一个好消息是,所有硬件制造商都在关注这件事。他们因 DRAM 的疯狂涨价而略受拖累。但如果你看看苹果新的 M5 Studio,他们有一个配置是 256GB 系统内存。

苹果在让这些内存真正可供其如今所有 Mac 内置的加速器使用方面做得很好。有了这个,你就能运行参数规模达数千亿的模型,而且速度还不错。

一旦达到那些数字,你面对的情况是,很难分辨你用的是 Claude 还是开放权重模型。它们有不同特点,但并没有一个明显更差。

Ben Lorica。所以正如我提到的,我们稍后一定会深入探讨语音和讲话。但继续谈本地模型这个概念,显然隐私和知识产权安全是支持它的理由。

你认为,如果我们展望未来,比如说 12 到 24 个月,这些本地模型会足够强大,以至于在企业中从事知识工作的人可能时不时会考虑使用它们吗?

例如,一个经常出差的人正在飞机上,没有网络连接,却需要继续写文档、生成图像,甚至在笔记本电脑上写代码、氛围编程。你认为我们会不会发展到这样的程度:有了这些本地模型,你在做知识工作时基本上感觉不到任何妥协?

Pete Warden。我认为其实现在就能达到那个程度,我知道这话说得相当大胆。

Ben Lorica。但你说的“你”,是指 Pete Warden 吗?就是那个要把所有这些都编译起来的人?我们要的是普通人。我们要的是平民百姓,Pete。

Pete Warden。我认为最大的障碍是易用性。如果你看基准测试,这真的已经不再是模型质量的问题了。

Ben Lorica。模型质量。

Pete Warden。对,模型质量的问题。在一些边缘场景上,你可能仍然更偏好某些商业在线模型,但情况并不那么明确。

而且人们发现有些模型实际上效果更好,尤其是当你处理一些……我不想称之为审查,因为我觉得那是个带有倾向性的词,但很多商业模型都有各种限制。这些限制可能是为了防止不良用途,但很多时候,即使你想做的是无害的事情,它们也会给你添麻烦。

比如,我认识很多从事网络安全工作的人,他们是白帽,但他们不得不处理大量涉及询问恶意行为的问题。使用商业模型时,你会不断撞上那些出于善意内置的限制和护栏,但它们确实会严重影响你的工作。

Ben Lorica。对,对,对。顺便说一句,Pete,模型只是一个组成部分,但模型周围还有别的东西,所谓的 harness,甚至还有上下文、记忆、知识。

你可以想象这样一个人,这其实是我思考过的事情。你知道人们开始把这些 LLM 当作心理治疗师或朋友来用,对吧?

Pete Warden。是的。

Ben Lorica。那么如果你要这么做,为什么不在本地模型上做呢?为什么要用连接云端的东西来做?

我想反对的一个理由是,如果你在本地做,你就要负责模型升级之类的事情,对吧?而如果你使用这些数字或 AI 心理治疗服务,他们会帮你打理所有历史记录等等。

你认为消费者使用本地模型会变得更容易吗?这些模型本质上因为他们拥有它而 100% 信任它?

Pete Warden。是的,我是说,这些应该成为操作系统的一部分。到了这个阶段,这确实是一项应该提供给应用的操作系统能力,我觉得 Apple 正在朝这个方向走。

Ben Lorica。我明白了。是的,这很有道理。

Pete Warden。是的,他们正在获得硬件能力。

我想说的另一点是,本地不一定意味着在你的笔记本电脑上。尤其是作为企业用户,你可以在本地部署,甚至启动一个企业可控的云实例,在那里运行这些模型,获得同样的体验。

我想强调的一点是,人们终于不得不支付接近通过 Anthropic 和 OpenAI 运行这些模型的真实成本,而本地托管或本地部署的成本也可能低得多。

Ben Lorica。不过如果你看看他们的消费级产品,价格还是便宜得离谱,对吧?每月 20 美元。我是说,你可能一天就花完了。

Pete Warden。是的。尤其是在企业侧,有很多选项不需要高端 NVIDIA GPU。训练仍然需要这些 GPU,但推理、只是运行模型的话,作为企业,你可能已经有闲置的算力了。

Ben Lorica。所以你一直在做的事情中另一个重要方面,是让人们为语音和说话感到兴奋,对吧?就是语音可以成为一种基本的计算原语这一理念。它不一定非得感觉像某种远程服务。

我还记得你在 Precita Park 附近一家嘈杂的咖啡店里向我演示这个语音转录服务。

Pete Warden。是的。对。没错。

Ben Lorica。那是几年前的事了。这东西的准确率高得离谱,而且它甚至不是跑在笔记本电脑上。我想它只是跑在一个 Raspberry Pi 上。

Pete Warden。没错。是的。

Ben Lorica。那么跟我们谈谈语音作为一种实际界面——类似于鼠标或键盘——的现状吧。我们现在处在什么阶段?

Pete Warden。我觉得很多人对语音持怀疑态度,因为他们用过 Siri 和 Alexa,而那是一种非常生硬的交流方式。

但当我聊到这些话题并遇到这种抵触时,我经常问人们的问题是:当你坐在沙发上,想和身边的另一半决定看什么电视节目时,你是给他们发短信,还是跟他们说话?

Ben Lorica。对。

Pete Warden。除了少数 Z 世代的人,几乎所有人都说会跟他们说话。

所以由此推下去就是:好吧,并不是人们不喜欢语音界面。而是人们不喜欢糟糕的语音界面。

所以问题就变成了一个工程和用户体验问题:我们如何做出令人愉悦且高效易用的语音界面?

我认为一旦我们做到这一点,语音真的可以占据它的位置,甚至可能成为比键盘或触摸屏更常用的输入媒介。

Ben Lorica。是的,因为我觉得人们普遍的印象是,语音和说话比键盘或触摸屏要不确定得多,对吧?

尽管人们现在与 LLM 交互时到处拼错单词,而这似乎并不重要。

但人们的印象是,口音、背景噪音、措辞等等都会带来问题。那么在这些方面,我们现在处在什么阶段?

Pete Warden。这些问题中的大多数我们都有可用的解决方案,或者至少有很大的改进。但由于没有商业动机把它们全部整合起来,它真的还没有进入主流。

我感觉我们仍在处理上一代留下来的界面。它们还没有完全吸收 LLM 时代的成果,仍然受困于你列出的许多问题。

这就是为什么我认为开源可以成为一个非常有力的杠杆。

Ben Lorica。那么在你一直试图解决这些界面问题的过程中,你学到的一些经验教训是什么?事实上,其中一些甚至可能适用于那些不从事语音工作、只是在构建 AI 应用的人。

我记得你多年前跟我提过的一点是,有了语音,你不必等到对方说完才开始处理,对吧?那么这些界面设计经验有哪些呢?

Pete Warden。 我认为延迟是个大问题。这是云端语音界面根本做不到的。

你通常至少要等上几秒钟,而这已经足够让人怀疑自己的话到底有没有被听到。

Ben Lorica。 是啊,就像和某人开 Zoom 会议或打电话时,中间出现了一段停顿。

Pete Warden。 对,对方就干坐在那里。感觉就像对方坐在那儿,完全无视你。

我们从通用的用户体验研究中得知,你确实需要把延迟控制在 200 毫秒或更低,才能让人感觉响应及时。

我经常请人们想象一下:你按下一个键,结果要等两秒钟字符才出现在窗口里。那会非常别扭。

Ben Lorica。 顺便说一句,这也是做 LLM 相关工作的人必须应对的问题,只不过是在输出端,对吧?他们想确保回复不要太长。否则,人们就会不耐烦,对吧?

Pete Warden。 对,完全没错。

我还想提另一点,我觉得这对思考本地 AI 的人一般也会有帮助。

当你不再按 token 付费,当你不再需要为使用语音界面付费时,你使用这些东西的方式、可能性的世界,都会变得宽广得多。

你可以想象一下,如果每个应用开发者都要在用户每次触碰其应用触摸屏上的图标时支付几分钱,你设计应用的方式会截然不同,很多应用根本不会存在,因为这项“税”。

所以,一旦 LLM 被内置到操作系统中、普遍可用且不产生成本,语音也是如此,那就不只是从一分钱降到零的渐进变化。这会大幅增加你可以用它们做的可行事情的数量。

Ben Lorica。 所以我想,Pete,这是你做了大量工作的一个领域,基本上就是为失败而设计,对吧?因为在语音中,很多事情都可能出错。

在设计应用时考虑到失败,这方面有哪些经验教训?

Pete Warden。 我最喜欢的“为失败而设计”的例子之一,是 Google 搜索中的摘要片段。

Google 搜索从一开始就知道,他们不可能总是把第一条结果做对。你没有直接点“手气不错”是有原因的。

Ben Lorica。 对,没错。“手气不错”。

Pete Warden。 他们做法的高明之处在于,他们实际上让你可以浏览,用眼睛扫一遍。

他们希望大多数时候能在前三条结果中给出正确结果,然后你通过查看摘要片段来缩小范围,这些片段提供了足够的信息,让你点进正确的那一条。

语音也是同样的道理。你越能真正读懂对方的肢体语言——就像我们说话时,你会微微点头来表示正在发生什么。

Ben Lorica。 等一下,我只有语音,所以你看不到我。

Pete Warden。 不,我看得到。

Ben Lorica。 不,不,但一般来说,对吧?一般来说。

Pete Warden。 嗯,这其实是我还没提到的另一个方面。

我认为,拥有一台完全本地运行的小型摄像头将成为其中非常重要的一部分。但即使没有摄像头,如果你听到支持性的声音,或者当你开始回应时有人做出反应,所有这些我们作为人类能够识别的信号,我们都会对其做出回应并提出更多问题,而不是假设我们选对了。

所以,真正去理解我们作为人类所使用的所有这些线索。其中一些是言语上的,一些是肢体语言和视觉上的,但真正重要的是在本地理解所有这些。

并确保所有这些录音永远不会被记录下来,因为你可以在本地验证这一点。一旦你把音频和视频发送到云端,你就不知道它们会经历什么。基本上,这是无法审计的。

对于本地的东西,你可以审计。所以我希望这能打开使用摄像头的机会,而不会增加用户在隐私方面的风险。

Ben Lorica。 所以有些人从事语音模型的工作,这个领域已经有很多研究了。

事实上,我认为有一件事被大大低估了:人们谈论深度学习有过ImageNet时刻,但实际上最早的令人印象深刻的深度学习模型是在语音领域,在ImageNet之前,对吧?

所以有人在研究语音模型。他们甚至谈论过端到端模型,但显然我们有LLM。

对于不密切关注这个领域的人,Pete,LLM和语音模型之间是什么关系,还是人们不使用LLM?他们只用语音模型吗?

Pete Warden。 一直存在巨大的争论,我认为可以分成LLM极大主义者——他们期望一切都是端到端模型——和另一派之间的分歧。

Ben Lorica。 “Machines of Loving Grace。”

Pete Warden。 是的,没错。我通常看到的是Anthropic、OpenAI这些大型AI公司。

Ben Lorica。 或者,你知道,炒作机器需要被喂养,对吧?

Pete Warden。 嗯,炒作机器需要被喂养,具体来说,如果未来是端到端模型,那么只有最有钱的人才能真正构建和训练它们。

现在,我非常坚定地属于Berkeley所说的复合AI阵营,即你实际上用多个模型来构建你的应用,每个模型都有专门的任务。

所以在那里,你不是用一个模型接收语音并输出语音音频,而是实际上有一个模型接收语音音频,将其转换为文本,输入到LLM中,然后LLM输出文本,再转换为语音。

现在,每次你将音频转换为文本时,你实际上会丢失大量表达力。这就像一个信息瓶颈。

你无法判断某人是怎么问的,他们是否用特定的语调问的,以及所有其他东西。

Ben Lorica。 你在做那个翻译的时候,不能添加元数据吗?

Pete Warden。 你某种程度上可以,但复合AI的全部意义在于你可以从不同来源获取模型并将它们插在一起。所以你需要某种通用语言,而目前,所有LLM都说的唯一东西就是文本输入和文本输出。

但优势在于你实际上可以独立训练所有模型。对于语音端到端模型,如果你有一个新的口音,那么如果它是一个真正的端到端模型,你必须做大量的训练。

如果你有一个新的输入口音,如果你有新的输出声音或新能力,如果它是一个真正的端到端模型,那么你就必须训练整个东西。

如果它实际上并非如此,如果端到端只是一个营销术语,那么你可以分别训练各个组件、各个模块。

但那样你就始终要就某些固定的接口数据达成一致,比如某种 schema、某种语言。即使它不是文本,即使它是嵌入向量,你仍然必须有那些固定点。

所以是的,我认为端到端更像是一个营销术语,是用来为流入这些公司的巨额资金正名的手段。

Ben Lorica。 Pete,对于听说过“多模态”这个词的听众来说呢?Gemini 号称是多模态的。

碰巧的是,我刚和一位从事视觉推理与理解领域工作的人聊过,他们说实际上 Gemini 在理解视频方面相当差。

那么,这些多模态模型在你的领域——语音——处于什么状态?

Pete Warden。 它们实际上往往相当不错。Qwen,17 亿参数,我想是这个规模,实际上比 Whisper 做得更好,在某些语言比如普通话上明显更好。Gemma 也是如此。

问题在于,作为通用模型,Gemma 的一个失败案例是:你上传某段语音的音频,它转写了内容,但随后被那段语音的内容搞糊涂了,以为你在向它提问——比如说,如果转写的语音里有一个问题的话。

所以这就是那种情况:你想用一把瑞士军刀,而实际上用一把真正的木锯比用那个什么都能干、还带个小锯子附件的玩意儿要容易得多。

所以这是端到端模型的另一个缺点。

Ben Lorica。 顺便说一句,显然你是这个话题上的权威。通用模型在边缘设备上一上来就行不通,对吧?

Pete Warden。 我是说,现在,只有……

Ben Lorica。 对于那种类型,我是说,你研究的一些非常小的硬件。

Pete Warden。 我最近做的一件事是搞出一个完整的语音界面,你可以连接 Wi-Fi、设置密码,诸如此类,运行在一块只有 500 KB 内存的 Raspberry Pi Pico 微控制器上。

在那里,你永远不会有能为你良好工作的通用模型。但一如既往……

Ben Lorica。 顺便说一句,你还研究过的另一件事很有意思,而且我没看到很多人在做,那就是更认真地对待浏览器,对吧?

所以请告诉我们,这背后的动机是什么,反响如何?

Pete Warden。 是的,这很棘手,因为我有时觉得“我们做了 X,但是在浏览器里”这种说法像是 Hacker News 的诱饵,因为它作为一种新奇事物总能获得很多关注。但其中很多东西往往很难找到实际用途。

在语音能力方面,在语音输入和语音输出方面,我看到的是它让这些成为浏览器操作系统的一部分,或者感觉像是浏览器操作系统的一部分。

一旦你能在浏览器里快速准确地转写,这就是让人们轻松开始尝试这些东西的一种方式,而且目前这没有任何成本。

我试着放了几个示例。如果你去 Moonshine AI……

Ben Lorica。 但把浏览器用作推理点的整个理念,对吧?你可以想象其他模型也这么做,不只是你的模型,你的模型专注于语音。

你可以想象文本,我是说,针对文本类应用的浏览器推理,对吧?

Pete Warden。 嗯,如果你在用 Chrome,你其实已经装了一个非常强大的模型。你有一个 40 亿参数的模型。

去年我其实写过一篇博客,展示了你如何直接通过 Chrome 设置把它当聊天机器人用,就在窗口里打字然后得到回复。

我觉得这就是模型成为操作系统一部分的一个例子,因为 Chrome 本质上就是一个运行在其他操作系统之上的操作系统。

你现在已经可以访问那个内置的大语言模型了,我想现在从任何网站都可以。以前只能通过扩展,但现在我想任何网站都可以从 JavaScript 访问它。

而且,我们仍在摸索它最好的用例是什么。但一旦它变得免费,而且你可以依赖它无处不在,我真的觉得对于很多这些新的大语言模型技术来说,这是一个 iPhone 时刻。

Ben Lorica。 甚至是你之前提到的,对于用笔记本电脑的人来说,它会以某种方式成为操作系统的一部分,对吧?

所以展望未来,Pete,再次对我们的听众说,你可以在 Moonshot AI 关注 Pete 的工作。Moonshine。啊,Moonshine。Moonshine.ai。而且很多工作是开源的,你可以加以利用。

所以展望未来,Pete,12 到 24 个月。我不想让你为难。我们处在什么位置,我想,第一是本地或边缘模型,第二是一般开源模型的状况?

Pete Warden。 是啊,我一直很不擅长预测。

Ben Lorica。 但对我们的听众来说,Pete 非常擅长的一件事,就是知道该做什么。所以这是一个信号。就告诉我们你在做什么吧。

Pete Warden。 好的。所以从深入技术层面的角度来看,我最终做的大部分工作,都是因为我已经在做某件事,然后变得显而易见,唯一合理的技术解决方案就是 X,所以我当然想去做 X。

而我看到的,以及过去几年一直看到的,是本地运行或在本地部署这些东西的引力,或者随便你怎么称呼它。

我常说,“AI 想要本地化。”

如果你想想 Google 搜索这样的东西,你需要庞大的数据库,你需要成群的服务器,你需要所有这些。如果你看看 Claude 和 ChatGPT 在做什么,你完全可以在没有网络连接的一台笔记本电脑上运行它。

所以这些模型的形态非常适合本地运行,不像我们过去几十年看到的几乎所有其他东西,那些情况下云更有意义。

所以我预期的是所有这些压力:尤其是企业的成本、对隐私的担忧、对能力消失的担忧、对变化的担忧。

如果你在某个特定版本的 Claude 之上构建了一个应用,即使你在下拉菜单中使用的是同一个版本,幕后实际发生的事情也可能每天都在变。

所以如果你想要稳定性,你实际上需要自己托管,至少在你自己的云基础设施中,如果不是本地在用户的笔记本电脑上的话。

我还可以一直说下去。

Ben Lorica。 是的。然后另一件事是,我认为很多企业正在认识到,护城河,或者说他们的护城河,其实不是模型。而是围绕模型的复利循环,对吧?

随着你更多地使用模型,你学到更多,诸如此类。那么你到底为什么要把这个交给一个商业专有模型呢?

Pete Warden。那为什么不在你自己的模型上做微调呢?

Ben Lorica。对,我是说,用那些数据。

Pete Warden。对,正是如此。

Ben Lorica。然后,正如你指出的,你实际上也能掌控自己的时间安排和路线图,因为你拥有这个模型,你知道什么时候可以安全地用别的东西替换它。

没有人会在你脚下把那个模型换掉,对吧?

Pete Warden。没有人会一夜之间开始收你10倍的价钱。

Ben Lorica。对,对,对。而且,即使他们保持成本不变,他们也可能出于某种原因削弱模型,对吧?

Pete Warden。是的。对,甚至可能是来自外部的压力。

Ben Lorica。那么顺便问一下,Pete,最后一个问题,因为你显然在一个非常关心硬件的领域工作,对吧?

现在,我们处在一个Jensen Huang似乎拥有一切的世界里。那么你对AI硬件的现状有什么预测?

我们会看到更多元化吗?AMD会提升它的实力吗,还是硬件领域总体上在发生什么?

Pete Warden。那就关注Apple吧。

先声明一下,我在2000年代在Apple工作了五年。我妻子在那里工作了13年。

但如果你看看他们在做什么,他们在增加大量RAM,提高RAM速度,这样你实际上可以更快地运行模型,而且他们有自己的仅用于推理的加速器。

我认为有了这三样,你就不需要GPU了。

Ben Lorica。所以你就把所有东西都跑在CPU上?

Pete Warden。嗯,把所有东西都跑在另一种加速器上。

Ben Lorica。哦,好吧。那不是……

Pete Warden。GPU。

Ben Lorica。我明白了。我明白了。所以CPU……

Pete Warden。实际上可能相当快。显然,……

Ben Lorica。NVIDIA的答案是为什么我们在GPU上配备所有HBM,高带宽内存,对吧?

Pete Warden。而我喜欢把GPU看作是为大批量和训练而设计的。

我喜欢把GPU看作是想用一艘油轮去买东西。

它们对于这些大型训练任务来说非常出色,但对于推理来说完全是大材小用。推理对硬件施加的工作负载形态非常不同。

Ben Lorica。我最近开始关注的一件事,而且它还非常非常早期,就是高带宽闪存。

Pete Warden。绝对。

Ben Lorica。对。那么你怎么看?

Pete Warden。所以那是另一个例子。

我看到NVIDIA正在赚取的巨额资金,而这对所有这些硬件公司也有自己的引力,他们从技术角度在观察。

我没有什么特别的见解。我只是用过这些东西。我知道这些工作负载是什么样子。其他人也在看这些,然后他们说,‘哦,我明白了。我们必须流式传输所有的权重。每个token都必须处理所有的权重。’

所以如果你有某种东西,即使你是在CPU上运行,如果你有某种东西具有足够高的带宽,能在不到一秒的时间内拉取270亿个权重,那么其余部分在实际进行处理方面就相当容易了。它通常非常受内存限制。

所以看到高带宽闪存、Apple正在做的事情、提高普通RAM的带宽,真是太棒了。

我认为,既然人们理解了工作负载是什么样子,我们将看到很多真正富有想象力的解决方案。

Ben Lorica。是的,那么,谢谢你,Pete。再次说明,网站是 moonshine.ai。

来源:Hacker News · thedataexchange.media