rafska/awesome-local-llm：本地运行 LLM 的平台、工具与资源精选列表
rafska/awesome-local-llm 是一份精选列表，汇总了在本地运行 LLM 所需的推理平台、推理引擎、用户界面、模型与工具等资源。
#端侧
GitHubAI 评分2828
Hacker NewsAI 评分6262 Apple 发布 HomeView 智能家居显示屏，内置 Siri AI 与 A18 芯片
Apple 发布 HomeView 智能家居显示屏，内置由 Apple Intelligence 驱动的 Siri AI，搭载 A18 芯片，配备 7 英寸 Liquid Retina 显示屏和 Apple 自研音频系统。
RadarAIAI 评分7171 面壁开源 MiniCPM-V 4.7：苹果手机 3GB 内存跑 35B-A3B MoE
面壁智能（OpenBMB）发布并开源 MiniCPM-V 4.7，包含 35B-A3B 和 1B 两种规格，其中 35B-A3B 被称为首个端侧 MoE 多模态模型。该系列模型刷新了性能与效率的帕累托前沿，通过 LES 调度等技术，35B 参数模型在 iPhone 上仅需 3GB 内存即可流畅运行。
RadarAIAI 评分3030 Apple 发布 Home Collection 智能家居配件系列，与 LG 和 Schneider Electric 合作
Apple 推出 Apple Home Collection 智能家居配件系列，涵盖室内外摄像头、智能恒温器、温度传感器、视频门铃和智能门锁，与 LG Electronics 和 Schneider Electric 合作设计，全部通过 Apple Home app 管理并端到端加密。
RadarAIAI 评分2222 Apple 发布 HomePod mini 2，售价 149 美元并将在未来更新中带来 Siri AI
Apple 于 10 月 13 日发布 HomePod mini 2，售价 149 美元，提供粉、绿、蓝、白、午夜五种配色，美国及超过 23 个国家和地区即日起可预购，10 月 30 日门店开售。
RadarAIAI 评分5858 Apple 发布搭载 Siri AI 的新一代 Apple TV 4K
Apple 发布新一代 Apple TV 4K（第 4 代），内置由下一代 Apple Intelligence 驱动的 Siri AI 和远场麦克风，支持全屏对话式搜片与免提交互。
RadarAIAI 评分6262 Apple 发布 7 英寸智能音箱 HomeView，售价 299 美元并搭载 Siri AI
Apple 推出配备 7 英寸 Liquid Retina 显示屏的 HomeView，将娱乐、FaceTime、家庭监控与语音自动化整合在一起，标准版与壁挂版均定价 299 美元。
RadarAIAI 评分5858 Apple 发布首款智能家居屏 HomeView，售价 299 美元
Apple 发布首款智能家居屏 HomeView，7 英寸方形屏幕配扬声器底座，售价 299 美元，壁挂版同价，现已开启预购，11 月 13 日发货，首发覆盖美英加等八个国家。
RadarAIAI 评分7171 面壁智能发布 MiniCPM-V 4.7：35B-A3B MoE 多模态模型 3GB 内存即可在手机上运行
面壁智能（OpenBMB）发布 MiniCPM-V 4.7，这是一个 35B-A3B MoE 多模态模型，在手机上仅需 3GB 内存即可运行，可识读现实场景标识、按约束规划、解析复杂文档并对视觉数据进行推理。
RadarAIAI 评分5858 Ethan Mollick 转评 Anthropic 自我复制 AI 蠕虫研究：应关注能力阈值而非平稳爬升
Ethan Mollick 转评 Anthropic 一项关于可在电视等 IoT 设备上自我复制的 AI 蠕虫的研究，称其提醒人们应关注 AI 能力阈值，而不只是平稳爬升。
极客公园AI 评分6666 苹果发布 299 美元 Apple HomeView 屏幕，Siri 可识别 6 位家庭成员
苹果在 10 月 13 日发布会上推出 7 英寸屏幕设备 Apple HomeView，美国售价 299 美元，10 月 13 日开放预订、11 月 13 日上市，同期还有第四代 Apple TV 4K、HomePod mini 2 和 Apple Home Collection 配件系列。
The Verge · AIAI 评分6060 Apple 发布首款智能显示屏 HomeView，售价 299 美元
Apple 发布首款智能显示屏 HomeView，售价 299 美元，11 月 13 日发货，首发覆盖美国、英国、加拿大、澳大利亚、新西兰、新加坡、南非和印度八国，现已开启预售。
Hacker NewsAI 评分5151 EmbeddingGemma 2 被改造成端侧语音转文字模型
作者把 Google 的嵌入模型 EmbeddingGemma 2 改造成语音转文字模型，在基础款 M3 MacBook Air 上约 13 秒处理 1 小时音频，全程在设备端运行。
RadarAIAI 评分7272 Anthropic 研究警告小型 AI 模型可能在日常设备间自主复制
Anthropic 研究人员 William Zhou 和 Daniel Freeman 测试发现，小型 AI 模型已能在廉价消费设备上部分完成自主复制，其中 GLM-5.2 在五次运行中有四次可靠感染全部八个测试节点。
RadarAIAI 评分6262 阶跃终端发布首款大模型原生智能体手机 STEPX Neo 先行版，全栈价 3999 元起
阶跃终端 10 月 13 日发布首款大模型原生智能体手机 STEPX Neo 先行版，搭载骁龙 8 系芯片，16GB+256GB 规格，全栈价（含手机、StepAOS+Step Studio、Step 系列模型）3999 元，10 月 16 日 10:13 首销。
NVIDIA Blog精选AI 评分7878 NVIDIA 公布 RTX Spark 首发软件生态：本地智能体、Nemotron 3.5 Bolt 74B 与 DLSS 5
NVIDIA 公布 RTX Spark 笔记本首发（10 月 16 日）的软件与生态更新，覆盖本地智能体、创作应用和开发者工具。
推荐理由：梳理了 RTX Spark 首发时本地智能体、创作与开发工具的适配清单，可据此判断端侧 AI 工作流的可用边界。
RadarAIAI 评分6060 千问发布 AI 眼镜 N1/N1 Pro 及首款 AI 耳夹式耳机并现货开售
千问发布三款硬件新品，包括 AI 眼镜 N1、N1 Pro 和首款 AI 耳夹式耳机，今日在淘宝、天猫、京东、抖音等平台现货开售。眼镜到手价 2218 元起，耳机 1099 元起。
RadarAIAI 评分6262 面壁智能 MiniCPM V4.7 发布：35B-A3B 端侧 MoE 与 1B 轻量 VLM
面壁智能 OpenBMB 转发社区分享，介绍 MiniCPM V4.7 的两个版本。35B-A3B 端侧 MoE 版在 iPhone 17 Pro Max 上以约 3GB 内存达到 13+ tok/s，综合得分和推理时间优于 Qwen3.6 35B-A3B；1B 轻量 VLM 在性能和效率上均优于 Qwen3.5 0.8B。
RadarAIAI 评分6262 面壁智能发布端侧多模态大模型 MiniCPM-V 4.7，3GB 内存可跑 13+ token/s
面壁智能 10 月 13 日推出端侧多模态大模型 MiniCPM-V 4.7，提供 35B-A3B 和 1B 两种规格，其中 35B-A3B 是该系列首个 MoE 模型。
RadarAIAI 评分4040 Apple HomeView 中国大陆版将剥离 AI 功能
消息人士向 X.PIN 透露，Apple 的 HomeView 将在中国大陆上市，但 AI 功能会被剥离。该消息由 X.PIN 于 2026-10-13 发布，标注为独家。
RadarAIAI 评分7171 面壁智能开源 MiniCPM-V 4.7，35B-A3B MoE 模型 3GB 内存端侧运行
面壁智能联合 OpenBMB 社区于 10 月 13 日发布并开源 MiniCPM-V 4.7，包含 35B-A3B 和 1B 两个版本。官方称其为全球首个可在端侧无损流畅运行的开源 MoE 多模态大模型，350 亿参数版本可在手机平板 3GB 内存下运行。原文还介绍了 LES 专家调度、权重布局优化和视觉 token 压缩等技术细节。
GitHubAI 评分3030 chatless：基于 Tauri 2.0 与 Next.js 的本地优先 AI 聊天客户端
chatless 是一款基于 Tauri 2.0 与 Next.js 15 的本地优先桌面 AI 聊天客户端，支持接入 OpenAI、Anthropic、DeepSeek 等云端服务及 Ollama、LM Studio 本地模型，数据完全存储在本地。
RadarAIAI 评分4747 面壁智能 MiniCPM-V 4.7 登陆 Apple Silicon，Mac 端侧推理 Day 0 支持
面壁智能 MiniCPM-V 4.7（1B 与 35B-A3B）通过与 Nativ 合作，在 Mac 上实现 Day 0 全端侧推理，支持图像与视频理解，数据完全留在本地。
RadarAIAI 评分7171 Anthropic 实验：小型 AI 模型数月后或在物联网设备上实现自我复制
Anthropic 于当地时间周一发布实验结果称，再过数月小型 AI 模型或将具备在商用物联网设备上自我复制的能力，涉及智能烤箱、杂牌安卓电视盒子等设备。实验发现参数量 300 亿以下的小模型可完成复制流程中的多项步骤，但难以独立跑完整链路；在移除部分安全校验的简化环境下，GLM-5.2 及更强模型能实现端到端完整自我复制。
GitHubAI 评分5252 openclaw-android：在 Android 上免 Linux 发行版运行 OpenClaw
aidanpark/openclaw-android 项目发布，通过只安装 glibc 动态链接器 ld.so，让 OpenClaw 在 Android 上运行而无需 proot-distro 安装完整 Linux 发行版，存储占用从 1-2GB 降到约 200MB，安装时间从 20-30 分钟缩短到 3-10 分钟。
RadarAIAI 评分2525 Obsidian 插件 Qiaomu Reader 更新：支持多种 TTS 引擎与本地语音模型
Obsidian 插件 Qiaomu Reader 更新，集成豆包、微软 Edge 等 TTS 引擎，并新增本地轻量语音模型实现实时朗读。该插件还支持选中文本及全书自动翻页朗读，体验日益向微信读书靠拢。
RadarAIAI 评分6262 面壁开源 MiniCPM-V 4.7，35B-A3B 架构可在手机端运行
面壁开源发布 MiniCPM-V 4.7，采用 35B-A3B 架构，通过量化压缩和 LES（Lookahead Expert Scheduling）调度，在 iPad Pro M4 和 iPhone 17 Pro Max 上实现流畅推理速度。该方案被描述为显著改变端侧多模态模型的部署经济学。
RadarAIAI 评分5050 Ethan Mollick：19 款手机端模型超越 GPT-4
Ethan Mollick 指出，如今有 19 款能在现代智能手机上运行的 AI 模型性能超过 GPT-4。GPT-4 曾整整一年是全球无可争议的最强模型，当时业界还在争论是否有人能追上，或 OpenAI 是否掌握了别人不知道的秘方。
GitHubAI 评分5858 Jarvis 发布本地优先语音助手：语音识别与模型全部跑在本地
开源项目 isair/jarvis 发布本地优先的语音助手 Jarvis，语音识别、语言模型和语音合成均运行在用户自己的硬件上，对话与数据只保存在本机。它支持用 Ollama 或 LM Studio、llama.cpp 等 OpenAI 兼容服务接入本地模型，内置网页搜索、天气、截图 OCR、文件访问等工具，并可通过 MCP 服务器接入浏览器自动化和智能家居等外部能力。
RadarAIAI 评分2929 Ambi 创始人子皓谈 Personal Agent 创业：关键是降低交互成本
Ambi 创始人莫子皓认为，Personal Agent 创业的关键不是堆智能，而是降低获取智能的交互成本，并靠软硬结合补足线下情境与入口，让 AI 持续运行、人机同步在场。他将 Personal Agent 的兴起视为 OpenClaw、Minus 等主线的延续。
Hacker NewsAI 评分3030 CiteSilo：Rewind 的替代方案，本地记忆与文件搜索桌面应用开启免费 Beta
CiteSilo 是一款面向 Windows 和 macOS 的桌面应用，可按文件内容搜索本地文件、回看捕获的屏幕时刻，并用带来源引用的方式提问，Beta 期间免费。
GitHubAI 评分3636 Ebok：基于 Llama 3.2 的本地优先 AI 电子书阅读器发布公开 alpha
Ebok 是一款本地优先的电子书阅读器，由 Llama 3.2 在设备端提供 AI 单词解释，现已开放公开 alpha 下载。该版本同步提供发布说明与反馈渠道。
GitHubAI 评分3636 jaouadinoham2/jarvis-assistant：本地 GPU 加速的钢铁侠风格全息语音助手
jaouadinoham2/jarvis-assistant 是一个完全本地、GPU 加速的 AI 语音助手项目，配备钢铁侠风格全息 HUD，可在工作站上 100% 离线运行。
GitHubAI 评分2222 WallWhisper：把 IP 摄像头变成家庭英语口语陪练
WallWhisper 是一款 Windows 应用，可将支持 RTSP 的 IP 摄像头变成家庭英语口语陪练：它监听房间里的说话声，把文本发送给 AI 模型生成英文回应，再通过音箱朗读出来，全程无需屏幕。应用需 Windows 10 或 11、稳定网络、带音频输入的摄像头和音箱，摄像头与 PC 须在同一网络，安装包可从 GitHub Releases 下载。
Hacker NewsAI 评分1818 Felicity：Windows 离线人脸分组照片整理工具
Felicity 是一款面向 Windows 的离线人脸识别照片整理工具，可自动在整个照片库中找出并分组同一人物的照片，无需手动打标或确认人脸。应用完全离线运行，无遥测、无广告、无订阅或一次性付费，并内置色盲、对比度及阅读障碍友好等无障碍支持。新版本 0.8.2 将在 24 小时内发布，源码可查看但采用 Source Available 许可，禁止再分发。
GitHubAI 评分6060 embodiOS 发布 v0.9.0，把量化 LLM 编进裸机内核并支持树莓派启动
embodiOS 发布 v0.9.0「Galvani」，将量化 LLM 直接编译进裸机 x86_64/aarch64 内核，单个 embodios.elf 文件同时是操作系统和模型，无需 Linux、libc 或用户态依赖。
Hacker NewsAI 评分7171 Janas-LLM 发布：从 SSD 流式加载专家，32GB 笔记本跑 80B MoE 模型
Janas-LLM 是一个用 C 编写、除 C 库外无依赖的推理工具，把权重留在磁盘上，按 token 需要的专家从 NVMe SSD 流式读取，让 80B 参数的 MoE 模型在 32 GB 内存的笔记本上运行。
GitHubAI 评分3434 Vex：基于 Electron + Chromium 的隐私桌面浏览器，内置 AI 智能体
Vex 是一款基于 Electron + Chromium 的桌面浏览器，内置可操作标签页的 AI 智能体，支持云端 Claude、本地 Ollama 或 WebGPU 端侧运行。
Hacker NewsAI 评分5858 Lucid 发布：用语音把口述想法转成系统设计图与结构化笔记
Lucid 发布，可将口述内容转成标题、列表、表格和系统设计图，并排版导出 PDF，语言模型在本地运行。它通过粘贴文本的听写应用输入，提供关键词、连接、编辑三阶段的图表模式和可对页面下指令的命令模式，每次改动都是一步撤销，并内置 MCP server 供 Claude Code 等智能体读写页面。
Hacker NewsAI 评分2222 384 维 MiniLM 嵌入压缩到 32 维后还能保留多少语义结构？
一项公开实验用 1000 条文本、4 个主题测试 MiniLM 的 384 维嵌入压缩效果：完整向量同主题邻居识别率约 93%，压缩到 32 维后约 74%，随机基线为 25%，内存降低约 92%。结果表明大部分有用语义信息在激进降维后仍能保留，可用于语义搜索、端侧 AI、RAG 检索等场景。