在本地跑 AI 模型是种什么体验：兴奋、不知所措与挫败

我正踏上一段此前一直犹豫不决的旅程：真正开始经常使用 AI。把我最私密的数据交给云服务一直是我的一大顾虑，但如今在本地运行强大的模型来一探它们的能力已越来越可行。这项技术是否真的如此有用，值得我为一台配备大量高价内存的台式机或笔记本电脑砸下大把钞票？我会试着帮你找到答案。我不是 AI 专家，这对我来说将是一段旅程，但也许我能帮你判断这段旅程是否值得一走——我会一路记录并发布我的进展。

苹果为其新款 Mac 台式机宣传的一大卖点就是它们非常适合本地 AI，而且即将有一整条全新的 RTX Spark Windows 机器 登场 在即，配备最高 128GB 内存，专为使用智能体 AI 而设计。本地 AI 和智能体现在就是那么火。但说正经的，想到有一个只住在我桌上这台机器里、只听命于我、而不受 OpenAI、Google、Microsoft 或 Anthropic 那些大佬摆布的小跟班，感觉和信任云服务或订阅聊天机器人还是有点不一样。别误会，我仍然绝不会让它替我写作、替我编辑，或生成丑陋的传单。但现在，有了隐私站在我这边，也许我终于可以想想有什么有用的杂活可以“放心”交给它了。

所以，作为我对 M5 Ultra Mac Studio 持续测试的一部分，以及在其它 Mac 和 Windows 系统上的实验，我安装了一些本地 LLM，并开始捣鼓起来。以下是目前的进展。

1/4

我首先在 Mac Studio 上安装了开源的 Hermes Agent。Hermes 是一款自托管的 AI 智能体桌面应用，可在 macOS、Windows 和 Linux 上运行。如果你坚持使用本地 LLM，它完全免费。由于这台 M5 Ultra Mac Studio 拥有 256GB 统一内存，我几乎可以运行任何我想要的模型。事情就是这样迅速变得让人应接不暇。市面上的模型多到我数不过来，有些还有专门的用途。一般来说，拥有数千亿参数的模型能比只有几十亿参数的较小模型做更多的事。而且既然在本地运行模型不必担心按 token 付费，我想着不如一开始就上大的。

借助 Hermes 简洁直观的引导界面和模型选择器，我选择了 Qwen 3.8 Flash Next 模型——一个 1250 亿参数、大小约 105GB 的模型。我还计划花些时间在 M6 Mac Mini、M5 MacBook Air、搭载 AMD Strix Halo 处理器的 Asus TUF Gaming A14，以及最终的 RTX Spark 等设备上试用小得多的 Qwen 模型。（愿意分享一下你用的是哪些本地模型和硬件吗？你知道该在哪儿留言。🫡）

没过多久，Hermes 和 Qwen 就运行起来了，甚至还能通过 Telegram 机器人用手机控制它们。但随后，我又遇到了使用 AI 时那个老对手：文本框。

“我该拿这东西做什么？”

首先，为了让事情运转起来，我遵循了一些有用的 YouTube 建议，让 Hermes 为我制作了一份每日晨间简报——从小处着手，用一个 cron 任务，并确保一切正常。它会扫描我的电子邮件和日历，告诉我任何值得我立即关注的事情，并给我一份简短的天气报告。它并不是那么有用，而且你显然不需要一台价值 12,000 美元的电脑来构建它，但这是我可以在时间推移中逐步开发的东西。简报一开始总是生成失败，但后来我终于弄明白，当任务在早上 7:30 启动时，macOS 不能处于睡眠状态。废话！现在它像钟表一样准时运行，但我必须想出更多信息让它为我提取，以使结果更有帮助。

一个更有用的任务是重新整理我的 Steam 游戏库。我在 Steam 上有超过 400 款游戏，最近我开始对它们进行分类，以便我想心血来潮玩新游戏时使用。Steam 不会为你分类游戏，所以你必须手动逐一进行。但这里正是一个代理助手可以派上用场的地方。我问：“你能重新整理我的 Steam 游戏库吗？”Hermes 只需查看已安装的 Steam 客户端就能看到我的大部分游戏。它很快为我提出了一些整理选项。我决定让它按类型整理我的游戏，但保留一些我自己的特殊分类（收藏、合作游戏、派对游戏、与妻子一起玩的游戏等）。

你必须给本地 AI 一些对你机器的权限，它才能为你执行操作，而在我的游戏库这个例子中，我必须注册一个 Steam Web API 密钥并将其提供给 Hermes。一旦它获得了该访问权限，只需几分钟它就把所有游戏整理到各个分类中。而且之后很容易撤销 API 密钥，因为我不再需要它了。这个想法是让它只为我做一次这种繁重的工作，然后当我最终购买新游戏时，我会将它们归入各个分类。总体而言，它做得很好，现在我的 Steam 游戏库很容易浏览。

1/2

我做的另一件简单的事情是数据分析。我让 Hermes 查看财务记录，为我计算一些数字，我还让它为我制作了一份新笔记本电脑的规格对比电子表格。这些都是小事，但它们都是我无法或不愿托付给任何云服务的任务——我不想把那些敏感数据上传到云端，而在新笔记本电脑的情况下，那些信息还处于保密状态。将它们保留在我的电脑上，是我使用这个工具与否的区别。

我目前正在进行的更大一点的自动化是一个运行一系列笔记本电脑基准测试的脚本。我手动运行我们所有的基准测试，而照看一台笔记本电脑运行十几次测试——重复三次以取平均值——非常耗时。我希望至少将其中一部分自动化。即使向 Hermes 讲解所有必需的流程，并让它输出凭感觉编写的 Python 脚本，也费了一番功夫，而且这仍然是一项进行中的工作。但我希望能取得一些积极的进展。

我和 Hermes 一起工作还处于早期阶段，我希望这仅仅是我让它为我做有用事情的冰山一角。但同样明显的是，即使这些强大的本地模型也无法构成一个能做任何事情的魔法助手。事情仍然不总是按预期运行——我的每日简报已经多次出故障。

我把 Hermes 和本地 AI 仅仅视为一种工具，一个在我的电脑上运行的程序。我不想要一个数字朋友。我不会说“谢谢”或“请”，也不会在改变主意时输入“抱歉”。我在命令它时保持像点击操作系统中的鼠标一样冷酷和漠然。

我希望在继续测试和学习本地 AI 的过程中保持警惕和谨慎。让我们看看它会把我带向何处。

关注话题和作者，以便在您的个性化主页信息流中看到更多类似内容，并接收电子邮件更新。

• Antonio G. Di Benedetto