在本地跑 AI 模型是种什么体验：兴奋、不知所措与挫败
The Verge 编辑在 M5 Ultra Mac Studio 上安装开源 Hermes Agent，并选用 1250 亿参数、约 105GB 的 Qwen 3.8 Flash Next 本地模型，尝试用 AI 智能体整理 400 多款 Steam 游戏、生成每日简报和分析财务记录。他称本地 AI 能避免把敏感数据上传云端，但模型选择繁多、上手过程令人不知所措。
#端侧
The Verge · AIAI 评分2222 RadarAIAI 评分2222 The Verge 记者实测：在 M5 Ultra Mac Studio 上用 Hermes Agent 玩转本地 AI
The Verge 记者在 256GB 统一内存的 M5 Ultra Mac Studio 上安装开源自托管智能体应用 Hermes Agent，搭配约 105GB 的 1250 亿参数 Qwen 3.8 Flash Next 模型体验本地 AI。
Hacker NewsAI 评分7171 Opposable 发布手机智能体：让 Claude Code 等 Agent 直接操作 Android 与 iPhone
Opposable 发布一款让 AI 智能体像人一样操作真实手机的工具，可打开应用、读取屏幕、输入并处理弹窗，Android 端基于无障碍服务，iPhone 端通过 Mac 以蓝牙键鼠加 USB 投屏绕开限制。
Hacker NewsAI 评分3434 用 NeuDecide 打造的语音赛车游戏：喊一声就能开车
Neuphonic 的 43 MB 语音转工具调用模型 NeuDecide 被用来驱动一款像素风赛车游戏，玩家直接说 "go left"、"speed up"、"jump" 即可操控，无需语音转文字或聊天机器人。模型可在本机原生运行，也可通过 WebAssembly 完全跑在浏览器内，支持 6 条语音指令，原生引擎从说完到游戏响应约 200 ms，浏览器引擎约 0.3-0.6 s。
GitHubAI 评分6262 Pretype 发布 macOS 全局 AI 自动补全工具，本地模型离线运行
Pretype 发布面向 macOS 的全局 AI 自动补全工具，可在任意文本框给出 Copilot 式建议，补全由本地模型完成、不上传输入内容。它需要辅助功能权限读取焦点文本框，按 Tab 接受一个词、⇧Tab 接受剩余内容，并支持行内拼写修正、表情短代码、行内算术、⌥Tab 改写与 ⌥⇧Tab 回复草稿。
Hacker NewsAI 评分3838 LemonSeed Studio：在 iPad 上运行未修改的 Linux amdgpu 驱动并本地推理 LLM
LemonSeed Studio 是一款 iPad 应用，将未修改的上游 Linux amdgpu + amdkfd 驱动以 PCIDriverKit 扩展形式嵌入，驱动雷雳外接显卡坞中的 AMD GPU。
GitHubAI 评分3030 Pixelift：本地运行的 AI 图像放大与老照片修复工具
Pixelift 是一款完全本地运行的 Ubuntu 桌面应用与命令行工具，基于 Real-ESRGAN 实现 2×/4× 图像放大，并支持老照片修复。它可去除灰尘划痕、降噪、校正褪色偏色，用 GFPGAN 修复人脸、DeOldify 为黑白照片上色，支持 NVIDIA/AMD/Intel GPU 加速及 CPU 回退，处理全程离线、无账号无遥测。
GitHubAI 评分4040 OneBox：Android 免费 AI 智能体工具箱，可调用 90+ 应用内工具
OneBox 是一款面向 Android 的免费 AI 智能体工具箱，内置智能体可调用 90+ 应用内本地工具，串联 PDF 处理、图片编辑、文件管理、记账等多步任务。它支持接入任意 OpenAI 兼容 API key（含 Gemini、OpenRouter 免费模型），本地工具全程在设备端运行，仅与所选模型的对话联网。应用共含 104 个功能模块，长任务可转入系统画中画显示进度。
GitHubAI 评分6060 Sprite 发布 macOS 菜单栏 AI 伙伴，支持持续记忆与自主行动
Sprite 是一个运行在 Mac 菜单栏的 AI 伙伴，可交谈、记忆、阅读资料并自主安排下次唤醒时间，仓库不附带预置人格或私人记忆。它提供交流、只读、读写和自由行动四档权限，自由行动下可联网、运行程序、读写文件并修改自身代码，使用当前 macOS 用户权限而非沙箱。
GitHubAI 评分3636 Velomate：连接 Garmin Connect、用 Gemini 生成自适应骑行训练计划的开源桌面应用
Velomate 是一款开源骑行训练仪表盘，可自动同步 Garmin Connect 骑行数据，并调用 Google Gemini 生成随实际负荷与疲劳度调整的每周结构化训练计划。
GitHubAI 评分4848 Talkflow 发布：实时会议与面试 AI 副驾，本地 Whisper 语音识别
Zehnix 在 GitHub 发布 Talkflow，一款面向会议和面试的实时 AI 副驾，能识别提问并用第一人称、贴合个人档案的语气逐词流式生成建议回答。语音识别由本地 Whisper 模型（tiny 到 large-v3）在 PC 上完成，音频不外传，仅文本发送给用户自选的 OpenAI、Claude 或 Gemini，并使用用户自己的 API key。
Hacker NewsAI 评分6060 Pippa 发布 Mac 本地 AI 助手：离线运行、无需账号、MIT 开源
Pippa 是一款运行在 Mac 上的本地 AI 助手，离线可用、无需账号和订阅，采用 MIT 开源许可。它支持读取桌面、文档、下载、日历、提醒、照片和邮件等区域，但需用户逐项授权，整理文件前先给出计划并等待确认，邮件只生成草稿由用户发送。
Hacker NewsAI 评分2020 Atheneum：可自由组装的模块化学习工作台
Atheneum 是一款模块化学习系统，把笔记、专注计时器、计划表、闪卡和能读取你自己文件的 AI 导师放在同一个工作区，免费版支持最多 7 个笔记本、每个笔记本 25 个文件，无需绑卡。
RadarAIAI 评分3434 Textream：开源多端智能提词器工具推荐
开源免费提词器 Textream 提供单词追踪、声音激活与经典滚动三种智能跟读模式，支持实时语音单词追踪与多端悬浮适配。Mac 端支持灵动岛风格悬浮及 Sidecar 投屏，移动端支持镜头贴近对齐与视频录制防穿帮，并内置防阅读障碍字体，兼容 macOS 15+ 平台。
GitHubAI 评分2222 Chanh：在 VS Code 中本地运行 Lemonade Server 的 AI 聊天扩展
VS Code 扩展 Chanh 可在本地下载、托管并运行 Lemonade Server 可嵌入二进制，让用户直接在 VS Code 中与本地 LLM 对话，全程离线。它提供 @chanh 聊天参与者（支持 /fix、/explain 斜杠命令）和原生模型选择器中的工具调用、agent 模式、流式与视觉支持，并支持系统安装版、可嵌入版或自定义 URL 三种服务器模式。
量子位AI 评分2222 荣耀Magic9 系列正式发布：双2亿阿莱影像、MagicOS 11 与 397B 智能体大模型，4499元起
荣耀发布Magic9 Pro Max、Magic9、Magic9超能版三款旗舰，售价4499元起，全系搭载MagicOS 11，依托与阿里联合打造的397B智能体大模型，Agent Harness框架首次在MagicOS 11商用落地。
GitHubAI 评分5858 rocm-wsl-ai 发布 5.0，支持 ROCm 10.1 的 WSL2 一键安装与升级
开源项目 rocm-wsl-ai 发布 5.0，适配 AMD 改用 TheRock 构建系统的 ROCm 10.1，提供一键安装脚本与 ./upgrade.sh 从 7.2.x 迁移到 10.x。
GitHubAI 评分1212 Locus：本地离线优先的 PC 私人助手（规划中）
Locus 是一款离线优先的 PC 私人助手，所有功能本地运行，无需账号、API key 或遥测，联网功能默认关闭。MVP 计划约 20 个操作，涵盖系统信息查询、应用与文件管理及本地 LLM 问答，最低 8 GB 内存、无需 GPU，仅支持 Windows 与英文。项目目前处于规划阶段，尚无可用代码，下一步将先做模型选型实验。
Hacker NewsAI 评分2222 Homy：一款替代 macOS Finder 的文件管理应用
Homy 是一款 macOS 文件管理应用，以缩略图浏览和自然语言搜索替代 Finder 的文件名列表，支持按类型、日期、大小和来源筛选文件。它还能通过 Apple Vision 框架搜索截图中的文字、按下载来源归类文件、用 SHA-256 指纹查找重复文件并清理旧安装包等垃圾文件。
RadarAIAI 评分2020 努比亚 NaviX Ultra「内测实验室」计划即将开启，10 月 14 日直播
努比亚宣布 NaviX Ultra「内测实验室」计划即将开启，面向尝鲜用户开放内测资格，抢先体验最新版本能力，并将于 10 月 14 日 19:00 进行首场进化直播。该机于 9 月 16 日发布，号称“全球首款 AI 智能体手机”，由中兴通讯努比亚全链路主导打造，豆包手机助手主导 AI 助手体验，售价 5999 元起。
Hacker NewsAI 评分3838 RemoveMacAI 1.0：一款关闭 macOS 27 上 Apple Intelligence 的 Mac 应用
RemoveMacAI 1.0 发布，可关闭 Apple Intelligence 各项功能并删除其模型，同时阻止 macOS 重新下载。该应用还关闭 Mac Analytics、个性化广告，清理旧安装包与缓存，所有更改在生效前可见且可撤销。免费开源，需 macOS 27 和 Apple 芯片 Mac。
GitHubAI 评分3636 Yunseul：本地连接 Obsidian 笔记库的离线 AI 问答工具
Yunseul 是一款 Windows 本地应用，可让 AI 直接检索并回答 Obsidian 笔记库中的内容，数据与推理全部留在本机，下载模型文件后可完全离线使用。
GitHubAI 评分2020 AKIRA-AI-Voice-Assistant：用语音指令控制 Windows 桌面
GitHub 项目 AKIRA-AI-Voice-Assistant 让用户通过语音指令控制 Windows 10/11 桌面，支持打开 Notepad、搜索文件、关闭窗口、调节音量等操作，并可在本地运行 AI 完成文本摘要、改写和头脑风暴。
GitHubAI 评分3939 how many?：一款完全离线、开源的 Android 拍照数数应用
开源 Android 应用 how many? 让你拍照后框选一个物体，即可自动标出并统计照片中所有相似物体，全程在手机本地运行，无联网权限，照片不出设备。它基于 GeCo2 少样本计数模型（MIT），在 FSC-147 的 100 张测试图上，三分之二的计数结果与真实数量误差在 10% 以内。应用采用 MIT 许可，需 JDK 21 与 Android SDK 构建。
GitHubAI 评分2222 open-webui-local-2026：在 Windows 上本地运行 DeepSeek、Qwen、Llama 等模型
open-webui-local-2026 将 Ollama 与 Whisper 打包，让 Windows 10/11 用户无需联网即可本地运行 DeepSeek、Qwen、Llama、Gemma 等模型并对话。
GitHubAI 评分1515 cyrcyrgo 个人前端作品集：浏览器内 MiniLLM 推理与 WebNT 桌面系统
cyrcyrgo 在 GitHub Pages 上线个人前端作品集，汇集多个纯前端项目，其中 MiniLLM 从零实现并训练精简 LLM（BPE 分词、RoPE、GQA、SwiGLU、RMSNorm、KV Cache），权重导出后可在浏览器内实时推理对话。
GitHubAI 评分3636 CrossWordFalcon：本地生成多语言填字游戏网格与线索
CrossWordFalcon 可从网页直接生成带线索的填字游戏网格，支持法语、英语、德语、西班牙语、意大利语和葡萄牙语六种语言，网格尺寸 5×5 至 50×50，其中 30×30 以内可稳定运行。
GitHubAI 评分3636 RigSpark：硬件感知的 Rust CLI，下载前判断本地 AI 模型能否运行
RigSpark 是一款硬件感知的原生 Rust CLI，通过离线目录和检测到的硬件，在下载权重前对本地 AI 模型给出 yes / slow / no 判定，并估算 tokens per second。
GitHubAI 评分2323 osu! AI Analyzer：用个人 replay 训练的 osu! 逐音符分析工具
osu! AI Analyzer 是一款 Windows 工具，逐音符分析你的 osu! 对局，指出跳跃、stream 速度、timing 等具体失误，并用只在你个人 replay 上训练的神经网络给出符合你水平的预期表现。
Hacker NewsAI 评分2222 SynoRing：为智能眼镜等设备打造的指环输入控制器
SynoRing 是一款通过拇指触碰与手指动作控制 AR 眼镜等设备的指环控制器，支持点按选择、滑动滚动、画圈调节和长按呼出应用。其采用陶瓷外壳、六触点柔性电路板与弧形电池，计划通过手机端软件层接入空间应用，兼容设备待验证。SynoRing R1 已开启预购，预计 2027 年 Q1 发货，美国境内免运费。
GitHubAI 评分2020 local-llm-1-2026：在 Windows 本地运行 DeepSeek、Qwen、Llama 等大模型
local-llm-1-2026 是一款 Windows 单文件可执行程序，无需安装 Python 即可在本地离线运行 DeepSeek、Qwen、Llama、Gemma 等大语言模型，所有数据留在本机。
GitHubAI 评分1818 TenSei-Upscale-image：本地运行的 Windows 图像无损放大工具
TenSei-Upscale-image 是一款在本地运行的 Windows 图像放大软件，无需联网即可提升分辨率且不丢失细节，图片不会上传至云端。它提供标准放大、文字锐化和艺术模式三种模式，支持 2x、4x 等放大倍数及 JPEG、PNG 等格式的批量处理，需 Windows 10/11、8 GB 内存和 2 GB 显存。
GitHubAI 评分1515 Local-ai-private-2026：在本地离线运行 DeepSeek、Qwen、Llama 和 Gemma 的 Windows 工具
Local-ai-private-2026 是一款在 Windows 10/11 上完全离线运行 AI 模型的工具，支持 DeepSeek、Qwen、Llama、Gemma，并集成 Whisper 语音转文字与 Open-WebUI 网页界面。数据全程留在本机，无需账号或订阅，最低要求 8GB 内存、10GB 硬盘空间，可选 6GB VRAM 的 NVIDIA 显卡加速。
GitHubAI 评分2222 opencode-portable：把 AI 编程助手装进 U 盘，138MB 免安装零痕迹
opencode-portable 是一个 138MB 的单文件离线可执行程序，让 Windows 10/11 用户无需安装即可运行 opencode AI 编程助手，双击选择工作文件夹就能在终端里写代码、查错和重构。
GitHubAI 评分3030 gemma-media-study：用本地 AI 把视频音频变成学习资料
gemma-media-study 是一款完全在 Windows 本地运行的视频学习工具，用内置 Whisper 引擎生成字幕、逐帧分析画面，并支持基于 Gemma 4 的 AI 导师就视频内容提问。它可导入 YouTube 链接或本地文件，要求 Windows 10/11、8GB 内存和 10GB 磁盘空间，首次安装需联网下载模型，之后可离线使用，视频与对话数据均不离开本机。
GitHubAI 评分1212 frzifus/hmlb：基于 Talos Linux 的 GitOps Kubernetes 家庭实验室
GitHub 项目 frzifus/hmlb 公开了一套基于 Talos Linux 的 GitOps 管理 Kubernetes 家庭实验室配置，集群由 3 个控制平面节点、2 个存储节点、2 个 worker 节点和 2 个 GPU 节点组成。
GitHubAI 评分3838 OpenRemove：基于 BRIA RMBG-1.4 与 ONNX Runtime 的自托管离线 AI 抠图工具
OpenRemove 是一个自托管、可离线运行的 AI 背景移除应用与 REST API，基于 BRIA RMBG-1.4 模型和 Microsoft ONNX Runtime，在标准 CPU 上约 2-3.3 秒完成推理，峰值内存低于 700MB。
Hacker NewsAI 评分2222 CortextAI：面向邮件、笔记、任务与文件的私有离线 AI 工作空间
CortextAI 将邮件、笔记、任务、日历、文件和聊天整合为一个完全离线的本地 AI 工作空间，所有 LLM 与 AI 模型均在设备端运行，数据不上传、不收集。它提供长邮件与文档智能摘要、本地 AI 对话、自然语言搜索、跨模块关联和 Quick Capture 快速捕捉等功能。
GitHubAI 评分3636 Quackster/tessera：C++20 多后端 LLM 推理引擎
Quackster/tessera 是一个 C++20 编写的 LLM 推理引擎，可在 GPU 上运行开放权重模型，提供 Vulkan（跨厂商 GPU）和 ROCm（AMD GPU）两个计算后端，一个二进制对应一个后端。
GitHubAI 评分3838 Ardor：能记住求职目标的 AI 职业智能体 v0.5.0 自托管预览版发布
Ardor 是一款可自托管的 AI 职业智能体，v0.5.0 预览版现已发布，Windows 用户可从公开桌面版本下载安装包。它通过可见、可编辑的长期记忆串联简历分析、文字与实时语音面试练习、面试复盘、闪卡学习和日历计划，数据保留在用户自己的部署环境中。当前安装包未签名，技术文档暂为中文。