Shodh：本地文档智能问答桌面应用，答案精确引用到页码
Shodh 是一款桌面应用，可读取指定文件夹并回答问题，每个答案都标注来源文件与页码，文档解析、索引和嵌入均在本地完成。检索采用多语言 E5 向量与 BM25 关键词的混合搜索，经 reciprocal rank fusion 融合并用 cross-encoder 重排，支持 PDF、Word、Excel、图片 OCR 等格式。
#端侧
GitHubAI 评分3838 GitHubAI 评分2222 Geist：本地优先的 AI 智能体框架，支持系统 RAM 卸载模型层
Geist 在 Windows 和 Linux 的 Settings > Models and Providers 中新增 Allow system RAM 选项，默认关闭，开启后可在 GPU 显存不足时让 llama.cpp 将模型层分配到 GPU 与系统内存，但响应可能变慢。
GitHubAI 评分3636 JAMES：完全本地运行的浏览器端 AI 助手，支持持久记忆
JAMES 是一款完全本地、浏览器原生的 AI 助手，基于 WebAssembly 和 WebGPU 在客户端完成全部模型推理，无需云端、API 调用或账号。其核心是持久个人记忆系统，记忆、笔记与会话历史经加密后仅存于本地 IndexedDB，跨会话保持上下文连续。还集成 Pyodide Python 运行时、科学计算器、程序化像素画、国际象棋与跳棋小游戏及联网搜索，模型缓存后可离线使用。
RadarAIAI 评分1212 TensorFold 创作者谈全球普及与本地 AI 部署升温
TensorFold 创作者 Ash Hart 庆祝该项目在国际上获得应用，并强调高性能本地 AI 部署正在迅速升温。他重点介绍了 TensorFold 的跨国应用，看好本地端侧 AI 推理即将迎来爆发式增长。
RadarAIAI 评分3838 GLM 5.3 EXL3 实现约 95 tok/s 的本地解码速度
完整版 GLM 5.3 在 EXL3 量化下借助 TensorFold，于本地多 GPU 工作站硬件上实现约 95 tok/s 的解码吞吐量。Ash Hart 指出，这是一项解码性能里程碑。
RadarAIAI 评分3838 AnythingLLM：可完全本地运行的端侧 AI 助手
AnythingLLM 是一款开源、私密的 AI 助手，可完全在本地设备上运行，支持 macOS、Windows、Linux 和移动设备，不依赖云端。它提供零配置本地运行、基于文档的 RAG 知识库索引，以及无需机器人的会议转录功能。
GitHubAI 评分1515 Scaling Human 实验合集：Food Scanner、Glasshole 等硬件与 AI 项目
Srikantha Ballani 维护的 Scaling Human 实验合集收录了 Food Scanner、Glasshole、Kids Meal Mode、Book Cricket、本地 AI 游戏实验、Smart Ring 与 Smart Strap 等个人项目，涵盖硬件、AI、应用与本地计算。
GitHubAI 评分1212 c0smicdirt 的 Scaling Human 个人实验项目集：Food Scanner、Glasshole AI 等
开发者 c0smicdirt 在 GitHub 上公开了个人实验项目集 Scaling Human，探索硬件、AI 与本地计算如何扩展人类感知与能力。
GitHubAI 评分4040 rockywuest/pidog-embodiment：给 AI 一个物理身体，支持 Ollama 与 MCP
rockywuest/pidog-embodiment 项目让 AI 拥有物理身体，支持德语、法语、英语本地理解（Ollama 或零 LLM 关键词模式）并执行动作。
Hacker NewsAI 评分3434 Tilefinch：为 PSP（333MHz、64MB RAM）从零打造的 Web 浏览器
Tilefinch 是一款在 Sony PSP（333MHz MIPS、64MiB RAM）上从零构建的实验性浏览器，自带布局引擎、QuickJS 运行时与硬件加速视频，无需代理或配套电脑即可运行真实 HTTPS 页面。
GitHubAI 评分2222 esp32-tera Alpha 1.0：TTGO T-Display 的语音 AI 助手
fwestarb 发布 esp32-tera Alpha 1.0，一个面向原版 TTGO T-Display 的 AI 助手，按住 GPIO35 录音、松开提交最长十秒语音，回答显示在屏幕上。
GitHubAI 评分3838 Unmuddle：本地离线朗读、写作与 AI 辅助工具
Unmuddle 是一款免费开源的 Windows 工具，可在任意应用中选中文本朗读（8 种本地英式语音），并提供写作与草稿检查功能。它支持本地 AI 模型（需下载 2.5 GB）或 Claude 云端（需自备 API key，每次不到一便士），文本默认不离开本机。采用 GNU GPL v3 开源，需 Windows 10/11 64 位。
GitHubAI 评分2222 Matt Macosko 的本地 AI 项目集：Claude Code 全本地运行与 Nemotron Omni MLX 运行时
Matt Macosko 发布 claude-code-local，让 Claude Code 在 Apple Silicon 上 100% 本地运行，自带 MLX 服务器与工具调用解析器，已获 3,300+ stars、625 forks。
GitHubAI 评分3838 Local-RAG：本地运行的 PDF/EPUB 阅读问答应用，支持引用溯源
Local-RAG 是一款 Windows 桌面阅读应用，可连接 PDF/EPUB 文件夹并用本地 GPU 通过 llama.cpp 完成回答、嵌入与重排，全程无需云服务。
GitHubAI 评分3030 BYDMate 4.0.0 发布：比亚迪 DiLink 车机本地 AI 能耗分析工具新增 DM-i/DM-o 混动支持
BYDMate 4.0.0 为比亚迪 DiLink 车机带来 DM-i 和 DM-o 混动支持，应用可依据车辆自身计数器自动识别混动车型，并显示电量与燃油续航、油箱油量、发动机转速及油电行驶里程。该版本还新增电池加热与屏幕开关自动化操作、ABRP 坐标回传选项，并修复 DiLink 3.0 导航提示与 Leopard 8、DiLink 5.1 上的小组件显示问题。
GitHubAI 评分88 Agent.cpp：面向 Mixture of Agents 的高性能端侧 C++ 推理引擎
Agent.cpp 是一个用 C++ 实现的高性能端侧 Mixture of Agents（MoA）引擎，针对 CPU 推理优化，无需联网即可在个人设备上运行。它支持 Windows、macOS 和 Linux，最低要求双核 CPU、4 GB 内存和 100 MB 磁盘空间，并提供 .exe、.dmg 等安装包，安装流程面向无编程经验用户设计。
GitHubAI 评分1818 FrancosCorporation 的 jogo_da_velha_ia：浏览器井字棋内置本地 LLM 模式
FrancosCorporation 将 2022 年的 Java/Swing 井字棋项目移植为纯 JavaScript 网页版，提供五种模式，其中 Player vs LLM 模式用 WebLLM 在浏览器内本地运行 Qwen2.5-0.5B（约 350MB，GGUF q4_k_m），首次下载后完全离线。
GitHubAI 评分2020 FrancosCorporation/meu-qwen3-tts：基于 Qwen3 TTS 的本地语音合成
FrancosCorporation 发布 meu-qwen3-tts 项目，基于 Qwen3 TTS 实现本地语音合成。该项目在 GitHub 开源，支持在本地完成语音合成，无需依赖云端服务。
GitHubAI 评分2222 Mriia：91 个可安装微应用，涵盖音乐、AI 图像与 SDR 无线电
Mriia 是一个包含 91 个可安装微应用的项目，覆盖音乐与声音、AI 图像、地图、基于 WebUSB 的 SDR 无线电及工具。这些应用以离线优先的 PWA 和 Telegram Mini App 形式运行在 appless microspec 核心上，并在 CI 中进行门控。
GitHubAI 评分1010 NeuraVoice：结合语音识别与本地 LLM 的 AI 桌面助手
NeuraVoice 是一款 AI 桌面助手，将语音识别与本地 LLM 响应结合，用于任务自动化。该项目在 GitHub 上已获得 2 颗星、1 人关注，暂无 fork。
GitHubAI 评分3636 KIplatz：由社区成员 PC 共同提供算力的去中心化 AI
KIplatz 是一个由社区成员 PC 而非数据中心提供算力的 AI 项目，服务器仅位于维也纳负责转发问题，答题 PC 不知道提问者身份。共享知识同样存放在成员设备上，聊天、记忆和文件保留在本地，服务器会在问题转发前移除邮箱、电话和账号等个人信息。该程序运行于 Windows 11，提供英德双语，目前正为 Android 应用招募 12 名测试者使用 14 天。
GitHubAI 评分2222 OmniAccelerANT：Flutter/Dart 前端 + Rust/C++ 推理引擎的跨平台 AI 推理项目
Kataglyphis/OmniAccelerANT 是一个跨平台 AI 推理引擎，前端用 Flutter/Dart、推理核心用 Rust/C++，并集成 GStreamer 摄像头流媒体管线。
GitHubAI 评分2222 Lunaschal：自托管本地 AI 个人知识管理桌面应用
开发者 volodymyrkhrystynych 开源了 Lunaschal，一款自托管的个人知识管理桌面应用，将日志、日历、闪卡、文件编辑器、写作工作区和 AI 聊天全部运行在本地机器上。
GitHubAI 评分5858 Static Recorder Pro 发布：浏览器内录音、Whisper 转写与 AI 纪要
Static Recorder Pro 是一个完全自包含的单文件网页应用，可在浏览器中同时录制麦克风和系统音频，用 Transformers.js 在本地运行 Whisper 生成带时间戳和说话人标注的转写，并调用浏览器内小模型或自选云端 LLM 起草纪要与回复。
GitHubAI 评分2222 AiOctofree：开源 Android 多提供商 AI 聊天应用
AiOctofree 是一款开源 Android 应用，将 Groq、Google Gemini、OpenRouter 等免费额度 AI 服务整合进阿拉伯语优先的聊天界面，采用 BYOK 模式，API 密钥经 AndroidX Security Crypto 加密后仅存本地，对话记录保存在 SQLite 中可搜索删除。
GitHubAI 评分3030 Reachy Mini 本地语音智能体：faster-whisper + llama.cpp + Piper 全离线运行
开源项目 dbirks/robot 为 Reachy Mini 打造完全本地运行的语音智能体，不调用任何云端 API，链路为 faster-whisper small.en 做 STT、llama.cpp 跑 Qwen 3.5 4B Q4_K_M、Piper 做 TTS，目标硬件为老款 i7 加 GTX 1070（8 GB VRAM），整体显存占用约 4.5 GB。
GitHubAI 评分3838 vinoWhisper：在 Intel NPU 上跑本地实时字幕与听写
vinoWhisper 是一款在 Linux 笔记本 Intel NPU 上本地运行实时字幕与听写的工具，无需云端、API key 或账号，音频不出本机。
Hacker NewsAI 评分2222 Speeku：面向欧洲葡萄牙语的 Duolingo 式学习应用
Speeku 是一款专注欧洲葡萄牙语（而非巴西葡语）的学习应用，包含 900+ 节课、11,000+ 道练习、2,500+ 词汇和 7,000+ 词条的离线词典。课程提供 58 种练习类型，并在设备端进行发音检查，不录音、不上传。应用完全离线运行，Android 版不申请联网权限，采用一次性付费、无订阅无广告、无需注册账号。
GitHubAI 评分5858 TokenTracking 发布 macOS 菜单栏应用，统一监控 Claude、Cursor、Gemini 等 AI 订阅用量
TokenTracking 是一个 macOS 菜单栏应用，把 Claude、Cursor（含 Grok Bot 周限额）、Gemini、Muse（Meta）和 Antigravity 的用量限额集中显示，并给出配速建议。
Hacker NewsAI 评分3636 高通 CEO 谈 AI 手机超级周期：智能体将驱动下一轮换机潮
高通 CEO Cristiano Amon 预计，能使用用户 App、理解个人上下文并代为行动的 AI 智能体将催生智能手机超级周期，他称 AI 公司已要求高通在 2028 年前支持手机端至少 1000 亿参数模型并常驻运行。他最看好智能眼镜成为最大 AI 可穿戴品类，并认为高通收购 Modular 可为开发者提供跨芯片的开放软件平台，以挑战 Nvidia 的软件锁定。
Hacker NewsAI 评分2828 DesktopBrain 1.0 发布：用本地 AI 整理 Mac 文件，无需上传云端
DesktopBrain 1.0 发布，通过 Apple Core ML 在本地对文件内容做语义分类，自动整理桌面与下载文件夹，文件全程不离开 Mac。支持离线运行、零追踪，所有整理操作可预览并一键撤销，需 macOS 14.0 或更新版本，免费试用含 100 次文件整理。
RadarAIAI 评分5050 DigUp：基于 Embedding Gemma 2 的 Mac 本地语义搜索工具
DigUp 是一款基于 Google DeepMind Embedding Gemma 2 构建的 Mac 原生语义搜索工具，可 100% 离线运行，支持全格式多模态文件内容检索。它突破传统文件名检索局限，用自然语言即可直接定位 PDF 具体段落、视频镜头、音频句子及源代码。
Hacker NewsAI 评分3434 Hibana：Rust 中的编排式编程运行时
Hibana 让 Rust 程序从单一全局编排（choreography）执行有限多方协议，并将其投影为每个角色的紧凑 RoleProgram，每个 send、recv 或 route 步骤必须匹配该程序才能提交进度。
GitHubAI 评分5858 SayDone 发布 1.0.0：Windows 语音输入工具，按住说话即得 AI 润色文字
开源项目 SayDone 发布 1.0.0，提供 Windows 10/11 x64 安装包（NSIS 15MB、MSI 22MB），按住 Alt 说话松开后 AI 润色文字自动注入光标位置。
GitHubAI 评分2828 JobHuntAgent：本地 LLM 驱动的求职自动化智能体
GitHub 项目 CanonTaito/JobHuntAgent 是一个求职自动化智能体，可扫描职位描述、按候选人画像打分、推断隐藏薪资区间并追踪申请，提交前需人工确认。当前处于 Phase 2，用本地 LLM（默认 ollama 的 gemma3）分析，结果持久化到 SQLite，匹配打分需工具调用能力模型如 qwen2.5:3b。所有提示词经占位符脱敏，真实 PII 仅存本地。
GitHubAI 评分2222 ChatLLM：在 iPhone 上离线运行模型的 iOS 应用
ChatLLM 是一款 iOS 应用，可让用户在 iPhone 上离线运行模型，仅支持 iPhone 16 Pro 及以上机型。
Hacker NewsAI 评分6262 BetterWispr 发布 Mac 开源听写工具，本地模型离线转写
BetterWispr 发布面向 Mac 的免费开源听写工具，按住 ⌥ Space 说话即可把清理后的文字输入任意应用，语音与模型均在本机运行，无需账号。内置 Apple speech、Parakeet 和 Whisper 共九款模型，Parakeet 覆盖英语、日语和 25 种欧洲语言，也可接入 Sarvam AI、Smallest AI 或 OpenAI 兼容 API。
GitHubAI 评分7171 OpenNVR 开源视频基础设施发布：本地运行任意 AI 模型并审计每次推理
OpenNVR 发布开源视频基础设施，用两条命令（git clone 后执行 ./start.sh）即可在自有硬件上跑起完整 NVR，支持 ONVIF 和 RTSP 摄像头，并把任意模型通过统一契约接入。
Hacker NewsAI 评分88 Mac 语音转写与菜单栏工具盘点：Lesskeys、PeekNote、Carrot Weather、SmartTracker、TuckBar
Mac 语音听写应用 Lesskeys 支持热键录音并粘贴到任意应用，还能转录音视频文件、识别说话人，免费版每天限 5 分钟听写，Pro 授权一次性 $49.99。
The Verge · AIAI 评分2222 在本地跑 AI 模型是种什么体验：兴奋、不知所措与挫败
The Verge 编辑在 M5 Ultra Mac Studio 上安装开源 Hermes Agent，并选用 1250 亿参数、约 105GB 的 Qwen 3.8 Flash Next 本地模型，尝试用 AI 智能体整理 400 多款 Steam 游戏、生成每日简报和分析财务记录。他称本地 AI 能避免把敏感数据上传云端，但模型选择繁多、上手过程令人不知所措。