The Verge 记者实测：在 M5 Ultra Mac Studio 上用 Hermes Agent 玩转本地 AI

The Verge：AI· Antonio G. Di Benedetto·2026-10-11 19:00· 44 分钟前AI 评分55

学习使用本地 AI 令人兴奋、不知所措，也令人沮丧

AI 导读

The Verge 作者在 256GB 统一内存的 M5 Ultra Mac Studio 上安装开源自托管智能体应用 Hermes Agent，搭配约 105GB 的 1250 亿参数 Qwen 3.8 Flash Next 模型开始尝试本地 AI。

正文

我正踏上一段此前一直犹豫不决的旅程：真正开始经常使用 AI。把我最私人的数据交给云服务一直是我的一大顾虑，但如今在本地运行强大的模型、看看它们能做什么，已经越来越可行。这项技术是否真的有用到值得我砸下大笔钱，去买一台配备大量昂贵内存的电脑或笔记本？我会试着帮你找到答案。我不是 AI 专家，这对我来说会是一段旅程，但也许我能帮你判断这段旅程是否值得走——我会一路发帖记录。

苹果为新款 Mac 台式机宣传的一大重点，就是它们非常适合本地 AI，而且即将有一整条新的 RTX Spark Windows 机器 陆续 登场，配备 最高 128GB 内存，目标就是运行智能体 AI。本地 AI 和智能体现在就是那么火。但说正经的，想到有一个小跟班只住在我的桌面机箱里，只听命于我，而不是 OpenAI、Google、Microsoft 或 Anthropic 的那些主子，这种感觉和信任云服务或订阅聊天机器人还是有点不一样。别误会，我仍然绝不会让它替我写作、替我编辑，或者生成丑陋的传单。但现在，有了隐私站在我这边，也许我终于可以想想有哪些有用的杂活能“托付”给它。

所以，作为我持续测试 M5 Ultra Mac Studio 的一部分，同时也在其他 Mac 和 Windows 系统上做实验，我安装了一些本地 LLM，并开始摸索。以下是目前的进展。

1/4

我首先在 Mac Studio 上安装了开源 Hermes Agent。Hermes 是一款自托管的 AI 智能体桌面应用，可在 macOS、Windows 和 Linux 上运行。如果坚持使用本地 LLM，它完全免费。由于这台 M5 Ultra Mac Studio 有 256GB 统一内存，我几乎可以运行任何想要的模型。事情就是这样迅速变得让人不知所措。市面上的模型多到我数不清，有些还有专门用途。一般来说，参数量达到数百亿的模型能比只有几十亿参数的小模型做更多事。而且既然在本地运行模型不必担心按 token 付费，我想着不如一开始就上大的。

借助 Hermes 简洁的引导界面和模型选择器，我选择了 Qwen 3.8 Flash Next 模型——一个 1250 亿参数、大小约 105GB 的模型。我还计划花些时间，在 M6 Mac Mini、M5 MacBook Air、搭载 AMD Strix Halo 处理器的 Asus TUF Gaming A14，以及最终的 RTX Spark 等设备上试试小得多的 Qwen 模型。（愿意分享你用的本地模型和硬件吗？你知道该去哪儿留言。🫡）

让 Hermes 和 Qwen 跑起来并没多久，甚至还能通过 Telegram bot 用手机控制它们。但随后，我又遇到了使用 AI 时那个老对手：文本框。

“这东西我能拿来做什么？”

首先，为了让它运转起来，我参考了一些有用的 YouTube 建议，让 Hermes 为我制作一份每日晨间简报——从小处着手，先设置一个 cron 任务，确保一切正常。它会扫描我的电子邮件和日历，告诉我任何值得我立即关注的事情，并给我一份简短的天气报告。它并不是特别有用，而且你显然不需要一台价值 12,000 美元的电脑来搭建它，但这是我可以随着时间推移逐步完善的东西。简报一开始总是生成失败，但后来我终于弄明白，当任务在早上 7:30 触发时，macOS 不能处于睡眠状态。废话！现在它像钟表一样准时运行，但我必须想出更多信息让它为我提取，才能让结果更有帮助。

一个更有用的任务是重新整理我的 Steam 游戏库。我在 Steam 上有 400 多款游戏，最近我开始对它们进行分类，以便我想心血来潮玩点新游戏时使用。Steam 不会自动为你分类游戏，所以你必须手动逐个操作。但这正是智能代理助手可以派上用场的地方。我问：“你能重新整理我的 Steam 游戏库吗？”Hermes 只需查看已安装的 Steam 客户端就能看到我的大部分游戏。它很快为我提出了一些整理方案。我决定让它按类型整理我的游戏，但保留一些我自己的特殊分类（收藏、合作游戏、派对游戏、和妻子一起玩的游戏等）。

你必须授予本地 AI 一些对你机器的权限，它才能为你执行操作，而在我的游戏库这个例子中，我必须注册一个 Steam Web API 密钥并将其提供给 Hermes。一旦它获得了该访问权限，只需几分钟就能将所有游戏分类整理完毕。而且之后很容易撤销 API 密钥，因为我不再需要它了。我的想法是让它为我完成这一次繁重的整理工作，然后等我以后购买新游戏时，再自己将它们归入相应分类。总体来说它做得很好，现在我的 Steam 游戏库可以轻松浏览了。

1/2

我做的另一件简单的事是数据分析。我让 Hermes 查看财务记录，为我计算一些数字，我还让它为我制作了一份新笔记本电脑的规格对比电子表格。这些都是小事，但它们都是我无法或不愿交给任何云服务处理的任务——我不想把那些敏感数据上传到云端，而就新笔记本电脑而言，那些信息当时还处于保密期。将它们保留在我的电脑上，是我使用这个工具与否的关键区别。

我目前正在进行的更大规模的自动化工作是一个运行一系列笔记本电脑基准测试的脚本。我手动运行我们所有的基准测试，而照看一台笔记本电脑运行十几次测试——重复三次取平均值——极其耗时。我很想至少将其中一部分自动化。即使向 Hermes 说明所有必需的操作流程，并让它生成凭感觉编写的 Python 脚本，也费了一番功夫，而且这仍是一项进行中的工作。但我希望能取得一些积极的进展。

我与 Hermes 的合作还处于早期阶段，我希望这仅仅是我让它为我做有用事情的冰山一角。但同样明显的是，即使这些强大的本地模型也无法构成一个能做任何事情的魔法助手。事情仍然不总是按预期运行——我的每日简报已经坏了好几次。

我把 Hermes 和本地 AI 仅仅视为一种工具，一个在我的电脑上运行的计算机程序。我不想要一个数字朋友。我不会说“谢谢”或“请”，也不会在改变主意时输入“抱歉”。我在命令它时保持冷冰冰和漠不关心，就像我在操作系统中点击鼠标一样。

我希望在继续测试和学习本地 AI 的过程中保持警惕和谨慎。让我们看看它会把我带向何方。

关注本故事的主题和作者，以便在您的个性化主页信息流中看到更多类似内容，并接收电子邮件更新。

• Antonio G. Di Benedetto

来源：The Verge：AI · theverge.com