Edge0 开源 145B 端侧模型 Edge0-145B 与 120B 版本
Edge0-145B: Frontier AI Capabilities on Your Own Computer
Edge0 开源 Edge0-145B 和 Edge0-120B 两个端侧模型，并同时放出统一推理框架与部署工具。官方称 Edge0-145B 是 145B 参数的开源端侧模型，在兼容笔记本上峰值内存 29GB、解码速度 80+ tokens/s、预填充 1100+ tokens/s，支持 128K–256K 上下文。
官方披露了 145B 端侧模型的架构取舍与实测内存速度，可据此判断本地跑大模型的实际门槛。
今天，我们开源了 Edge0-145B 和 Edge0-120B，以及我们统一的推理框架和部署工具。Edge0-145B 是全球首个开源的、拥有 1450 亿参数的端侧 AI 模型。它将媲美前沿云端模型的编码、推理和智能体能力带到你自己的电脑上。
长期以来，端侧 AI 一直被迫在模型能力与硬件可运行性之间做取舍。更大的模型需要更多内存、带宽和功耗；更小的模型则难以应对复杂工作。将这类工作迁移到云端，又会带来模型提供商费用、数据处理限制以及对网络连接的依赖。
本次发布从四个方面解决了这些限制：
| 限制 | Edge0-145B 带来的可能 |
|---|---|
| 大模型难以在个人硬件上运行。 | 一个 145B 模型可在兼容的笔记本电脑上本地运行，报告峰值内存为 29GB，解码速度超过 80 tokens/s。 |
| 小型端侧模型在高要求任务上可能力不从心。 | 如下方对比所示，其编码、推理和指令遵循结果可与特定的前沿云端模型相竞争。 |
| 一个有用的助手需要完成工作，而不仅仅是回答问题。 | 该模型能够规划、编写和运行代码、调试错误，并通过视觉检查结果，适用于 3D 场景、游戏、硬件程序和 PCB 设计等项目。 |
| 云端工作流会带来经常性费用、敏感数据限制和网络依赖。 | 本地推理不会产生相应的云端模型 token 或 API 费用；数据可留在电脑上，核心能力在离线状态下仍可工作。硬件和电力仍然需要花钱。 |
我们发布完整技术栈，以便开发者复现结果、评估或微调模型，并将其集成到自己的产品中。
获取 模型权重，探索 推理框架，或试用 Edge0 App。
我们如何让 100B+ 参数 AI 在个人电脑上运行
Edge0-145B 笔记本电脑性能：内存、速度与功耗
Edge0-145B 让一个 1450 亿参数的模型可在个人笔记本电脑上使用。一个有用的本地模型必须能装入内存、及时处理提示、生成速度足够快以供使用，并将功耗控制在合理范围内。它还需要能持续处理更长的任务。
| 要求 | Edge0-145B 报告结果 | 带来的能力 |
|---|---|---|
| 内存 | 29GB 峰值内存 | 可在兼容的个人笔记本电脑上运行，例如 MacBook Pro，无需服务器。 |
| 提示处理 | 1,100+ tokens/s 预填充 | 在开始生成之前处理长提示，包括数十页代码。 |
| 生成 | 80+ tokens/s 解码 | 生成速度快于人的阅读速度。 |
| 功耗 | 典型功耗约 120W | 在报告的设置下可持续运行而不降频。 |
| 长任务 | 128K–256K 上下文 | 在长输入上保持基本相同的速度，支持扩展工作。 |
我们此前发布的 Edge0-35B 手机版报告峰值内存低于 2.5GB。在 iPhone 18 Pro Max 上，Edge0-35B 使用约 2.5GB 内存实现 37+ tokens/s。Edge0-145B 的参数数量约为其四倍；其笔记本电脑对比报告为 80+ tokens/s 和 28GB 峰值内存。这些测量适用于不同的模型和硬件。
端侧模型规模随时间的变化。该图表涵盖来自 14 个实验室的 67 个至少 10 亿参数的开源模型，面向手机、笔记本电脑和 AI PC。同尺寸的 base、instruct 和 reasoning 变体只计一次；每条线追踪一个实验室最大的模型，包括 2025 年 7 月之前的发布。实心点表示新高，空心点表示其他发布。规模在 400 亿以下为对数刻度，以上为线性刻度。Apple 因未公开权重而被排除。来源：厂商公告和模型卡。
为什么端侧模型一直很小
在 2026 年 9 月之前，内存限制使大多数端侧模型保持在 100 亿参数以下。Apple Intelligence 的端侧基础模型约有 30 亿参数，而 Google 的 Gemini Nano 有 18 亿和 32.5 亿参数版本。即便是 70 亿参数的模型也可能消耗约 4GB 内存。
更大的模型面临内存墙。模型权重占用存储空间，并且必须在生成过程中读取，与操作系统和其他应用争夺有限的内存和带宽。即便是一个经过激进压缩的 350 亿参数模型，也可能需要约 20GB 内存，远超手机所能提供的容量。
算力、带宽和功耗形成了相互制约的约束。更大的模型提供更强的能力，但会挤压内存容量、生成速度和电池续航。让模型变小有助于其适配，但往往以能力为代价。
仅靠隐私无法弥合这一差距。Apple Intelligence 保护用户数据，但 Apple 承认其端侧模型并非为需要通用世界知识的智能体应用而设计。当时的普遍假设是，端侧智能无法与云端匹敌。
Edge0 内部：模型与推理设计的四个层面
我们同时设计了 Edge0-145B 及其推理引擎，以减少使大模型难以在本地运行的内存占用和数据移动。该设计涵盖架构、训练、加载和调度。
架构：在稀疏专家之间共享大型矩阵。共享矩阵大幅减少了必须存储和移动的权重，同时保持专家数量不变。每 64 个专家组成的一组共享两个大型矩阵，而每个专家保留一小组参数以体现其差异。此前，每个专家都存储一整套矩阵。在该模型 1450 亿总参数中，每次推理步骤只有约 100 亿参数参与计算。
训练：从第一天起就为本地执行而构建。我们从一开始就在其端侧架构中训练模型，并将部署约束内建于设计中。这避免了把本地部署当作训练云端模型之后的压缩或剪枝步骤。
加载：流水化 GPU 内存、系统内存和 SSD 访问。读取和计算在三个存储层级之间重叠进行，避免串行等待。常用的“热专家”保留在 GPU 内存中。约 40GB 的专家库位于系统内存中，专家按需调入 GPU 内存。约 48GB 的词汇数据驻留在 SSD 上，并按需读取。
调度：同时使用 CPU 和 GPU。GPU 计算已缓存的专家，而 CPU 并行处理剩余工作。推测解码一次验证多个候选 token，将读取权重的成本分摊到更多输出 token 上。这些选择支撑了所报告的 80+ tokens/s 解码速率。
模型与推理引擎的协同设计，让 100B+ 参数推理在个人电脑上变得可行。来源：内部测试。
这些改进共同作用，使参数量从数百亿增长到超过一千亿，而内存占用、功耗和延迟并未成比例增加。
Edge0 能做什么：在你的电脑上完成从聊天到复杂工作的任何任务
Edge0-145B 能将复杂任务推进到可用的结果。其编码与推理能力支持本地工作流，涵盖规划、工具使用、执行、调试和视觉检查。基准测试确立了它的能力；演示则展示了它如何将这些能力付诸实践。
媲美前沿云端模型的编码与推理能力
Edge0-145B 在编码、推理、知识和指令遵循方面可与特定的前沿云端模型相竞争：
- 编码：它在 DeepSWE 1.1 上得分 64.6，领先于 Qwen3.8-Flash-Next 的 58.7 和 DeepSeek-V4-Flash-0731 的 54.4。
- 推理与知识：它在 GPQA-Diamond 上得分 90.4，接近 DeepSeek-V4-Flash-0731 的 90.8 和 Claude-Opus-4.6 \(Max\) 的 91.3。
- 指令遵循：它在 IFBench 上得分 80.6，领先于 DeepSeek-V4-Flash-0731 的 79.2 和 Claude-Opus-4.6 \(Max\) 的 62.5。
其在 Terminal-Bench 2.1 上的 86.52 也超过了 Qwen3.8-Flash-Next 的 83.3、DeepSeek-V4-Flash-0731 的 82.7 和 Claude 的 78.2。在 AA-LCR 上，Edge0-145B 得分为 79.3，而 Claude 为 78.0。这些比较仅适用于所提及的模型和评测。
| 模型 | DeepSWE 1.1 | Terminal-Bench 2.1 | HLE | GPQA-Diamond | IFBench | AA-LCR |
|---|---|---|---|---|---|---|
| Edge0-145B | 64.6 | 86.52 | 35.4 | 90.4 | 80.6 | 79.3 |
| Edge0-120B | 53.6 | 81.3 | 31.0 | 87.4 | 79.3 | 81.0 |
| Qwen3.8-Flash-Next | 58.7 | 83.3 | 35.9 | 91.7 | 81.3 | 79.1 |
| Qwen3.8-27B | 42.2 | 73.0 | 30.8 | 89.2 | 79.5 | 82.0 |
| DeepSeek-V4-Flash-0731 | 54.4 | 82.7 | 33.8 | 90.8 | 79.2 | 79.7 |
| Flint 40B | — | 54.9 | — | — | 89.2 | — |
| Muse Glimmer | — | 51.7 | 22.0 | 83.5 | 77.0 | 83.3 |
| Gemma 4 | — | 43.4 | 22.7 | 85.7 | 76.0 | 62.0 |
| Claude-Opus-4.6 \(Max\) | — | 78.2 | 40.0 | 91.3 | 62.5 | 78.0 |
得分为百分比；越高越好。短横线表示没有公开得分，而非得分为零。
Edge0、Qwen、DeepSeek 和 Claude 的结果来自 Edge0 的内部评测。Claude-Opus-4.6 没有公开的 DeepSWE 1.1 得分。对于 Flint、Muse Glimmer 和 Gemma 4，Terminal-Bench 2.1 和 IFBench 结果来自 Recursive Flint 评测；HLE、GPQA 和 AA-LCR 结果来自 Artificial Analysis。
相较于主流端侧模型基线 Qwen3.8-27B，最大的提升出现在智能体和编码工作中：Terminal-Bench 上提升 18.5%，DeepSWE 上提升 53.1%。在 HLE、GPQA 和 IFBench 上的相对提升分别为 14.9%、1.3% 和 1.4%。
DeepSWE 1.1 和 Terminal-Bench 2.1 评测智能体与编码工作。HLE、GPQA-Diamond 和 IFBench 涵盖推理、知识和指令遵循。完整的评测设置、硬件环境和复现说明将随我们的技术报告一同发布。
能力有竞争力，内存占用更小
Edge0-145B 实现了六项基准平均得分 72.8，实测峰值内存 29GB。Qwen3.8-Flash-Next 平均为 71.7，标准 4 位部署的估计占用约为 70GB。这使得 Edge0-145B 的内存约为估计基线的 40%，同时提供相当或更高的能力，从而可在 48GB 笔记本电脑上本地使用。
| 模型 | 六项基准平均值 | 内存占用 \(实测或估计\) |
|---|---|---|
| Edge0-145B | 72.8 | 29GB |
| Edge0-120B | 68.9 | 29GB |
| Qwen3.8-27B | 66.1 | 约 18GB* |
| Qwen3.8-Flash-Next | 71.7 | 约 70GB* |
| DeepSeek-V4-Flash-0731 | 70.1 | 约 87GB* |
这些指标涵盖 DeepSWE 1.1、Terminal-Bench 2.1、HLE、GPQA-Diamond、IFBench 和 AA-LCR。Edge0 的内存数据为内部实测峰值。带星号的基线数据为对标准 4 位部署的估算值，尚待实测。Claude 因仅提供云端服务且没有 DeepSWE 分数而被排除在外。
[图：质量与峰值内存对比，图中标注了 48GB 笔记本电脑和 64GB 工作站的容量。内存越低、分数越高越好；图表纵轴并非从零开始。]
能够规划、编码、运行并检查自身工作的本地智能体
一条自然语言请求即可启动完整的本地工作流。Edge0-145B 会拆解需求、规划步骤、编写代码并调用工具运行。一旦出现失败，它会调试并修复代码。随后它会截图检查结果，并持续迭代直至工作完成。
这类项目往往需要数十轮规划、执行和审查。本地推理意味着这些额外的对话、代码修订和视觉分析不会产生相应的云端模型 token 或 API 费用。代码和数据可以留在本机，核心模型能力可离线运行。
视频制作：一小时内生成 Tesla Roadster 讲解视频
Edge0-145B 制作了一段关于 Roadster 如何飞行的讲解视频，涵盖技术调研、脚本撰写、素材生成和剪辑。我们要求它让普通观众也能理解其中的原理。该模型在本地运行，没有云端模型调用或云端 token 消耗，避免了推理的网络往返。
视频在一小时内生成完成。若以人工方式完成同等质量的工作，需要一名导演兼编剧、一名 3D 建模师、一名剪辑师和一名物理学专家耗时一个月。此前的 AI 视频工作流成本可能超过数百美元；本地推理消除了相应的云端模型 token 和 API 费用。
3D 建模：在 Blender 中构建曼哈顿城市场景
Edge0-145B 在一小时内构建了一个曼哈顿 3D 场景。它在 Blender 中依据文本和参考图像开展工作，搭建场景、调整材质和光照，并对渲染输出进行迭代。
该工作流将视觉检查、代码生成和修订整合在 Blender 内部。模型能够处理物体、空间关系和创作目标，而不局限于参考图像中的像素。它会检查结果、编写代码并进行修改，无需将这些步骤交回人工。整个过程完全在本地进行。
人工制作曼哈顿规模的城市场景通常需要花费约 12,000-18,000 美元，并至少耗时一个月。领先的云端模型仍会产生超过 150 美元的云端 token 费用。Edge0-145B 在本地完成推理，无需支付这些云端模型 token 费用。
游戏开发：可玩的游戏与中世纪城市
Edge0-145B 可以在本地创建可玩的游戏。我们还利用其 3D 建模能力，为一款奇幻 RPG 构建了一座原创的中世纪都城，并渲染出达到游戏预告片水准的 20 秒飞越动画。
该模型独立规划了这座城市，并在 Blender 中从零搭建：城墙、一千多座老城民居、广场喷泉、哥特式双塔立面、肋拱中殿和彩色玻璃窗。
固定的相机路径让错误无处遁形。几何裁剪、遮挡或比例错误都会在路线上显现出来，因此模型在构建过程中会检查渲染结果并修正自己的工作。整个工作流完全在本地运行。
一个领先的云端模型在相同提示词、参考图像和相机路线下，完成一次任务需要数百次工具调用和数亿个 token。Edge0-145B 在笔记本电脑上完成了这一任务，本地推理无需云端模型的 token 或 API 费用。一个美术团队通常需要花费数周时间和数千美元才能制作出这一水准的城市场景。
硬件控制：让真实无人机飞行的代码
Edge0-145B 根据一条指令为真实无人机编写了程序：“编写一个无人机程序，使其穿越障碍物并找到红色背包。”
它在本地生成了飞行控制和视觉识别程序。随后无人机在室内起飞，穿越密集的障碍杆阵列，自主搜索，并在墙边找到了红色背包。该任务无需人工编写代码，也无需调用云端。
硬件开发者可以描述他们想要的行为，让模型将其转化为真实设备的程序，而无需在编辑器、文档和调试工具之间反复切换。
PCB 设计：从 KiCad 布局到装配动画
Edge0-145B 完成了从元件放置到装配可视化的 PCB 设计。我们要求它为自身设计一块电路板。它从零开始在 KiCad 中操作，放置元件，布线双层板，并将设计导入 Unreal Engine 5。随后它设置相机和灯光，渲染出 PCB 制造和装配的动画。
一台计算机完成了此前需要硬件工程师和 3D 设计师来回交接数天的工作。原理图和电路板布局可以保留在团队自己的硬件上，支持商业秘密保护和数据处理要求，无需将设计上传到云端模型。
为什么选择 Edge0：端侧 AI 的全栈方案
有用的端侧 AI 需要模型开发、推理工程和硬件适配协同工作。我们的进展建立在三项能力之上：快速开发互补模型、优化全栈，并将每次部署的经验带入下一次。
我们 9 月发布的 Edge0-35B 展示了这种方法在手机上能实现什么。其发布文章在海外社区未经付费推广的情况下，首日浏览量突破 120 万。OpenAI、NVIDIA、高通等公司的研究人员和技术专家分享了该文章，模型登上 Hugging Face 总趋势榜第一。
我们同时发布了模型权重和统一推理框架，为企业 and 研究人员提供了一种可复现的标准方法。此次发布帮助端侧 AI 的讨论从数十亿参数级别推进到 35B 级别。
面向端侧 AI 的四个模型系列
过去一年，我们发布了四个系列共 200 个模型。每个系列负责工作的不同部分，从听和说到快速决策、记忆和复杂智能体任务。
| 模型系列 | 角色 | 模型与能力 |
|---|---|---|
| Edge0 | 复杂智能体任务和 vibe coding | 面向笔记本电脑的 145B 和 120B 模型；面向手机的 35B 和 8B 模型。笔记本模型支持 vibe coding，手机模型支持智能体任务。 |
| Audio8 | 听与说 | ASR-Infinite 以及 3B、0.6B 和 0.1B 语音识别 ASR 模型；0.6B 和 0.1B 语音合成 TTS 模型；以及用于端到端语音交互的 0.1B Chat 模型。 |
| Decision0 | 快速决策 | 覆盖文本、语音和视觉的 0.6B 和 3B 模型，多模态决策耗时约 40 毫秒。 |
| Embedding0 | 记忆 | 一个 0.6B 多模态嵌入模型，支持文本、语音、图像、视频和文件，支持本地长期记忆和检索增强生成（RAG）。 |
产品组合涵盖数千万到超过一千亿参数。Edge0 和 Audio8 均已登上 Hugging Face Trending 榜首。
模型与推理系统协同设计
我们同步开发模型和推理框架，将硬件约束纳入训练，并针对不同芯片优化引擎。这将模型能力与本地使用所需的软件和硬件连接起来。
这项工作需要模型开发、推理框架和底层硬件适配方面的专业知识。仅专注于模型开发的公司很难复制这种组合。
硬件优化成果可延续到每次部署
每次部署都为我们针对下一款芯片、模型或产品提供可复用的优化。这一点很重要，因为端侧硬件是碎片化的：NPU 架构各不相同，对 INT4、INT8 和 FP4 等数值格式的支持也各不相同。通用模型无法自动充分利用每一款芯片。
我们针对各个平台进行适配。我们的产品组合现已覆盖 95% 的主流芯片平台，包括 Qualcomm、BES、Rockchip、Allwinner、D-Robotics 和 NVIDIA，涵盖耳机、眼镜、手机、PC 和机器人。这是产品组合层面的覆盖；模型需求各不相同，这并不意味着每台设备都能运行 Edge0-145B。
这项部署工作现已覆盖超过 500 万台量产设备。我们的开源模型在三个月内下载量突破 1500 万次。截至 2026 年 10 月，我们已拥有超过 110,000 家客户组织。
产品组合数据来自公司论文和内部测试。它们描述的是更广泛的 Edge0 产品组合；本文中的 145B 性能结果专门适用于 Edge0-145B。
对于 Edge0-145B，首日支持覆盖 macOS、Windows 和 Linux，包括 Apple M 系列芯片以及 RTX Spark、RTX 4090 和 RTX 5090 等 NVIDIA 平台。该版本包含一键部署工具和硬件指南。
端侧 AI 与云端的未来
随着本地模型接近云端能力，更复杂的工作可以留在设备上完成。隐私、成本控制和离线访问一直有利于本地执行；剩下的问题是端侧模型能否胜任这项工作。Edge0-145B 扩大了它可以承担的任务范围。
为什么更多 AI 工作可以留在本地
本地执行解决了采用纯云端 AI 的四个实际障碍：
- 控制云端模型成本。 随着使用量增长，本地推理不会增加相应的云端模型 token 或 API 费用。
- 将敏感数据保留在本地。 代码、文档和业务记录可以留在硬件上，让团队能够控制数据处理方式。
- 保持响应迅速的体验。 模型和推理引擎设计共同解决响应速度、功耗、系统响应性和持续运行问题。
- 保持核心能力离线可用。 连接中断时本地任务仍可继续；依赖在线信息或服务的功能仍需联网。
从云端优先到更复杂的端侧工作
我们认为设备与云端之间的分工正经历三个阶段的变化。
2026年9月之前：云端优先，辅以端侧支持。 Apple Intelligence 体现了这一阶段：它保护隐私，但仅在本地处理有限范围的任务，更繁重的工作则依赖云端能力。
Edge0-35B 于9月10日发布之后：日常任务本地处理，复杂任务在云端。 本地模型可以承接需要即时响应的频繁请求。对于一家领先的耳机厂商，我们的混合方案目前将92%的 AI 使用量在端侧处理，8%在云端。日常对话占消费级可穿戴设备的大多数用例。
借助 Edge0-145B：迈向端侧优先，辅以云端支持。 Vibe coding 及其他复杂任务现在可以在个人电脑上运行，让团队有更大空间选择本地执行。这扩展了可留在设备上的工作范围，同时为需要它的任务和硬件保留云端。
该图展示了从云端优先的 AI 到日常本地任务、再到更复杂本地工作的转变。其彩色区域为示意，并非实测的使用占比。
云端 AI 仍适用的场景
硬件限制仍决定哪款模型适用。算力、散热和电池续航都很重要：Edge0-35B 可在手机上运行，而 Edge0-145B 需在配置合适的笔记本电脑上运行。极低算力的设备目前无法在本地运行145B模型，它需要适配其硬件的更小模型，或通过云端访问该规模的模型。
跨设备的长期记忆以及需要高度时效性信息的搜索仍需云端服务。本地与云端模型可以协同工作；合适的分工取决于任务、硬件及其所需的信息。
目标是让本地执行成为繁重工作的实用选择，借助能力足够的模型在用户身边持续工作。这是我们朝着让智能零距离惠及每个人这一目标迈出的下一步。
开始使用 Edge0
下载模型以在本地运行、评估或微调，并将其集成到你自己的产品中：
- 模型权重： Hugging Face 上的 Edge0-145B 和 Edge0-120B。
- 推理框架与部署指南： GitHub 上的 Edge0。
- 无需配置环境即可试用： 下载 Edge0 App。其核心模型能力可离线使用，无需账号或使用配额。
- 社区： 在 Discord 上加入我们。
如需硬件或产品集成，请通过 GitHub 或 contact@autoark.ai 联系 Edge0 团队。
来源：Hacker News · edge0.ai