MiniCPM5-2B 在 iPhone Air 上跑出 37 tok/s
MiniCPM5-2B 在 iPhone Air 上实现 37 tok/s 的推理速度，无需云端 GPU 即可运行。该 2B 参数开源模型已上线 NobodyWho Chat 应用，被评价为同规模中最好的开源模型之一，可在移动端提供多模态智能。
#端侧
RadarAIAI 评分4343 GitHubAI 评分4545 Cognee-RS：Rust 实现的端侧 AI 记忆库
Cognee-RS 是 Python cognee SDK 的 Rust 端侧记忆库，可将原始文本、文件和 URL 转为持久化、可查询的记忆，启动耗时 350ms、搜索 260ms。
GitHubAI 评分2020 RuneForgeAI 的 Hliðskjálf 项目：为 Meta Muse 打造 Raspberry Pi 5 + Hailo-10 边缘协处理器与实时 HUD
RuneForgeAI 的 Hliðskjálf 项目为 Meta Muse 构建了一套运行在 Raspberry Pi 5（16GB RAM）加 Hailo-10 AI2+ HAT（40 TOPS NPU）上的边缘协处理器与实时 HUD。
GitHubAI 评分2222 Barbaros：基于 any_llm 的 AI 翻译桌面应用，支持 40+ LLM 提供商
Barbaros 是一款轻量级 AI 翻译桌面应用，通过 any_llm SDK 支持 Ollama、OpenAI、Anthropic 等 40+ LLM 提供商，复制文本后按热键即可翻译。它具备 OCR 图像文字识别、系统托盘常驻、剪贴板自动翻译和离线运行能力，界面支持英文与俄语，目前仅在 Linux 上测试。
GitHubAI 评分1212 Local-LLM：轻量级 Python 库实现开源语言模型完全离线运行
Local-LLM 是一个轻量级 Python 库，可让开源语言模型完全离线运行，无需联网。该库支持 Windows、macOS 和 Linux，要求 Python 3.7 及以上、最低 4 GB 内存（推荐 8 GB）和至少 500 MB 存储空间，安装后通过 `python -m local_llm` 启动，并可用 `load_model("model_name")` 加载模型。
GitHubAI 评分2222 rish-1997/wsl-assistant：在 Debian WSL2 上自托管本地 AI 与数据库栈
GitHub 仓库 rish-1997/wsl-assistant 提供一套在 Debian WSL2 上全自动配置、自托管的本地 AI 与数据库栈，集成 LlamaCPP、SLM、SMOL agents、Neo4j 图数据库与 Redis 缓存，覆盖 RAG、边缘计算与本地化等场景。仓库未给出具体模型版本、参数规模或性能数据，用户可从 Releases 区获取文件并查阅文档。
GitHubAI 评分3434 LabML：完全在浏览器中运行的机器学习实验室
Dominic D'Apice 发布 LabML，一个完全在浏览器中运行、无需后端的表格机器学习实验室，数据不出本机，采用 MIT 许可证，已上线 app.dominicdapice.com。它支持拖入 CSV 完成数据审计清洗、8 个分类器/7 个回归器实时训练、排行榜对比与失败分析，所有计算在 Web Worker 中完成，理想数据集为 1MB 至 30MB。
Hacker NewsAI 评分6060 Apogee 发布本地浏览器 AI 助手，替代 Mozilla 已停运的 Orbit
Apogee 是一个完全在浏览器本地运行的 AI 助手扩展，可总结网页、视频、PDF、DOCX 和粘贴文本，无需账号、API key、后端或云端上传。它通过 WebGPU 调用 GPU、通过 WebAssembly 调用 CPU，也可直连本地 Ollama 或 llama-server，首次运行下载模型后即可离线使用。
RadarAIAI 评分2424 极米 AI 显示眼镜 MemoMind One 开启超前预约：蔡司定制镜片、哈曼联合调音
极米 10 月 9 日宣布 AI 显示眼镜 MemoMind One 超前预约正式开启，搭载蔡司显示系列翎思镜片与哈曼联合调音，采用无摄像头隐私保护设计并通过欧盟 EN18031 认证。该产品支持 Memo 记忆、双目显示与 Harman Audio EFX，提供三种框型，综合续航 16 小时，搭载 Apple MFi 芯片，支持对话、翻译、演讲、录音功能。
GitHubAI 评分2222 Terry 本地语音助手：macOS 安装与使用指南
Terry 是一款面向 macOS 的本地语音助手，支持 macOS 10.14 及以上版本，需至少 4 GB RAM 和 500 MB 可用磁盘空间，可在 Apple Silicon 与 Intel Mac 上运行。它提供直观的语音管线、本地 AI 处理、20 多项可自定义操作、摄像头视觉集成和 Web UI，用户可通过 Releases 页面下载安装。
RadarAIAI 评分6262 Liquid AI 开源 d1 系列决策模型，d1-3B 单次判断仅 8 毫秒并支持图像输入
Liquid AI 于 10 月 7 日发布博文，推出 d1-3B 和 d1-omni-600M 两款开放权重决策模型，已在 Hugging Face 公开，可下载、微调并部署。
GitHubAI 评分6262 VocoLoco 开源浏览器端 TTS：用 WebGPU 本地运行 600M 扩散模型
VocoLoco 是一个完全在浏览器内运行的文本转语音项目，使用 WebGPU 和 WebAssembly 在客户端运行 600M 参数的扩散 TTS 模型，无需服务器和 API key，文本与音频不离开设备。
GitHubAI 评分1212 beeracs/Llama：浏览器内运行的 AI 聊天机器人
beeracs/Llama 是一个直接在浏览器中运行的 AI 聊天机器人，基于 JavaScript 与 WebAssembly 构建，无需安装即可使用。项目采用 MIT 许可开源，支持自定义角色选择，并提供 gguf 模型相关标签。后续计划加入多语言支持、增强 AI 能力以及适配手机和平板的移动版本。
GitHubAI 评分2020 Swift AI Agent Demo：iOS 上的 ReAct AI 智能体实现
Swift AI Agent Demo 是一个用 SwiftUI 构建的原生 iOS 应用，演示 ReAct（推理+行动）AI 智能体模式，并接入 OpenAI 的 GPT 模型实现实时交互与逐步解题。项目采用 Model-View-ViewModel 分层架构，内置预设演示场景，需 Xcode 13.0 或更高版本、macOS 11.0 或更高版本，以 MIT 许可证开源。
GitHubAI 评分2222 Aharou：手机上的 AI 助手与 Coding Agent，内置 Linux 环境与影子屏
Aharou 是一款运行在手机上的 AI 助手与 Coding Agent，内置 Linux 环境，并配备影子屏功能。该项目以 GitHub 仓库 520huxiangli/Aharou 的形式发布，将 AI 助手与编码智能体能力带到移动端。
GitHubAI 评分2222 RapaceGo：Windows 本地围棋工具，KataGo 算数据、LoGos 讲棋
RapaceGo 是一款 Windows 10/11 桌面围棋工具，把 KataGo 引擎与本地小模型 LoGos（7B，Q4_K_M）装在一起：KataGo 负责胜率、目差、推荐点和复盘数据，LoGos 用大白话讲解每手好坏与选点理由，全部在本机运行、不联网不上传棋谱。
Hacker NewsAI 评分2222 Vane：一款开源原生 Mac 浏览器
Vane 是一款用 Swift、SwiftUI、AppKit 和 WebKit 构建的开源原生 macOS 浏览器，由 WKWebView 渲染页面，并加入侧边栏标签、Spaces、配置文件、阅读工具等浏览器控制功能，要求 macOS 26 或更高版本。
GitHubAI 评分6262 elizaOS 开源智能体框架公布完整技术栈与 Eliza-1 端侧推理方案
elizaOS 是一个开源 TypeScript 智能体框架与产品栈，仓库包含核心运行时、Eliza 应用、CLI、云服务、原生桥接和第一方插件，Linux 与 Android 发行工具位于 packages/os。
GitHubAI 评分6262 AIKit 发布开源 LLM 部署平台，支持推理、微调与 OCI 打包
kaito-project 在 GitHub 发布 AIKit，一个用于托管、部署、构建和微调大语言模型的平台，提供推理、微调和 OCI 打包三类能力。
RadarAIAI 评分6262 Google 发布 EmbeddingGemma 2 多模态端侧嵌入模型
Google 发布 EmbeddingGemma 2，称其为首个开源多模态嵌入模型，可将文本、图像和音频映射到统一向量空间。该模型基于 Gemma 4 调优，参数量 740M，专为端侧设备优化，在检索任务上表现较好，适用于 RAG 等隐私敏感场景。
RadarAIAI 评分4747 X.PIN 独家：Apple HomeHub 的 homeOS 早已完成，发布只因 LLM 让 Siri 变好
X.PIN 援引知情人士称，Apple 新款 HomeHub 内置的 homeOS 系统多年前就已完成，真正拖延产品发布的是 Siri。由于 Siri 多年来表现不佳，Apple 智能家居硬件团队一直不愿签核这款以语音为核心交互的设备；直到 LLM 让 Siri 理解自然语音的能力明显提升，团队才认为时机成熟。HomeHub 将于 10 月 13 日与 LG 的智能家居合作一同发布。
GitHubAI 评分3434 Nido：运行在 Android 手机上的本地隐私 AI 助手
Nido 是一款运行在 Android 手机上的个人 AI 助手，基于 BOAR（MIT）分叉，采用本地 llama.cpp 推理，记忆用 SQLCipher 加密、密钥存于 Android Keystore，无账号、无云、无分析。
GitHubAI 评分1212 Strong Care：AI 辅助康复训练监测平台
Strong Care 是一个 AI 辅助康复监测平台，结合人脸身份验证、活体检测、姿态与生物力学分析、实时安全监控和自适应建议，并采用离线优先架构。系统包含 11 个临床拉伸程序、6 位 PIN 或人脸登录、泰语 AI 安全语音预警，以及基于 MediaPipe 的实时骨骼追踪。所有训练调整必须经治疗师或照护者审批，AI 不得直接更改处方。
GitHubAI 评分2222 NexNote：本地优先的知识库桌面应用，整合 Markdown、Git 与可控 AI
NexNote 是一款本地优先的知识库桌面应用，将笔记、链接、Git 历史和 AI 工作流整合在一起，知识库以普通文件形式存放在 Git 仓库中。它支持结构化块编辑与 Markdown 源码双格式、Wikilinks 双向链接与图谱视图、自动提交的 Git 版本历史，以及需显式触发的可控 AI（兼容 OpenAI 接口、本地嵌入向量）。
arXiv cs.AIAI 评分3030 RoboTalk：从多模态演示中学习多机器人通信与协调
RoboTalk 是一个合成数据生成管线与数据集，包含 7,950 条多模态轨迹，覆盖 53 个移动操作厨房任务，用于训练小型 VLM 实现机器人间通信与协调。数据集包含 leader-follower 规划协议、工具调用（感知、操作、导航、通信）、推理轨迹和多样化自然语言通信。开源模型微调后在新任务上成功率达 77%，而未微调模型仅约 2%。
arXiv cs.AIAI 评分2222 SparKV：面向端侧 LLM 推理的感知开销 KV Cache 加载框架
SparKV 是一个结合云端 KV 流式传输与端侧计算的自适应 KV 加载框架，通过建模各 KV 分块成本来决定流式传输还是本地计算，并重叠两条执行路径以降低延迟。它还能在运行时细化离线生成的调度方案，以应对无线连接和边缘资源波动。实验显示，SparKV 将首 token 时间（TTFT）降低 1.3x-5.1x，单请求能耗降低 1.5x-3.3x，对响应质量影响可忽略。
arXiv cs.AIAI 评分2222 基于 AI 的星上船舶目标检测：在 Versal 嵌入式硬件上实现地球观测载荷数据削减
研究将 YOLOX-S 船舶检测器量化部署到 Versal VC1902 的 DPU 上，用于星上按内容筛选下行数据，每景处理耗时数秒。该模型基于 68 幅 Maxar 标注场景、43 类船舶的数据集训练。在密集港口与海岸场景中，tiles 模式以 29% 的数据量保留 98% 的船舶，crops 模式以 3% 的数据量保留 83%。
arXiv cs.AIAI 评分2525 SDPAD：面向端到端自动驾驶的全脉冲驱动流水线
SDPAD 是一个全脉冲驱动的端到端自动驾驶规划流水线，通过量化 ANN2SNN 转换将预训练 ANN 感知栈转为整数脉冲形式，并用 Spike-QFormer 完成规划。
arXiv cs.AIAI 评分3030 本地 LLM 智能体能否产出可复现的数据工程产物？一项针对出行工作流的实证研究
一项针对出行工作流的实证研究评估了本地开源权重 LLM 智能体生成可复现数据工程产物的能力，覆盖数据发现、连接器、语义增强、特征工程、验证与报告等 15 项任务。在超过 20 亿参数的模型中，闭环工作区条件将通过率较单次生成提升 26.7-52.0 个百分点，最佳配置达到 85.3% 的产物级成功率，量化后的 90 亿参数模型以约 6.5 GB 显存占用达到 69.3%。
arXiv cs.AIAI 评分2424 Φsat-2 星载海洋异常检测：从仿真开发到在轨验证
欧洲航天局 Φsat-2 任务部署了一套轻量级星载海洋异常检测流水线，结合海面分割、自监督特征编码与基于偏离正常海况的通用异常检测。该流水线发射前基于仿真 Φsat-2 影像训练验证，在轨后早期实验发现仿真与真实数据存在显著不匹配，遂改用真实 Level-1 影像和更优标注策略重新训练，性能大幅提升。该经验表明仿真开发有助于降低飞行前风险，但可靠的科学验证仍需有代表性的在轨数据。
arXiv cs.AIAI 评分2727 DeltaReplay：面向移动 GUI 智能体的任务相对记忆复用
DeltaReplay 是一个步骤级记忆复用框架，将执行轨迹存为转移图中的路径，复用时将每条边的动作拆分为任务无关操作与任务特定参数，再逐步决定跟随、替换参数执行或交由基础智能体处理。在 AndroidWorld 和 SPA-Bench 上，其任务成功率较同骨干基础智能体分别最高提升 10.3 和 25.0 个百分点。
GitHubAI 评分2222 camai：本地运行的智能家居安防监控工具
camai 是一款把电脑变成安防控制中心的本地监控工具，通过机器学习实时识别画面中的人、动物和车辆，并支持 RTSP 网络摄像头与 Dahua DVR 接入。它可划定监控区域、过滤树枝晃动等无效移动，并通过 Telegram 推送告警，所有视频均在本地处理不上传云端。
Hacker NewsAI 评分2222 Gravity Linux 是什么？支持 M4 Mac Mini 的 LLM 辅助 Asahi 分支
Asahi Linux 的新分支 Gravity Linux 出现，其卖点是支持 M4 Mac Mini，但借助 LLM 辅助构建，尚不适合日常使用。它可能加速 Linux 登陆 Apple Silicon 的进程，但也让人担心对 Asahi 项目的影响。
Hacker NewsAI 评分2222 我预测 Apple 将在未来五年内开放其平台
博主预测 Apple 将在未来五年内开放 iOS/iPadOS，允许无需 Apple 审核、无需 Mac 编译、无需 $99/年开发者费用的应用侧载，原因不是欧盟而是另外两个字母。
Hacker NewsAI 评分4242 Archii 推出 "Mind, Amplified" Beta：用你自己的数据训练一个像你一样思考的 AI
Archii 的 "Mind, Amplified" 进入 Beta，用用户自己导出的聊天、写作、语音、睡眠、阅读等原始数据构建一个"像你一样思考"的 AI 心智，数据只读取一次并保留原件、可随时删除。
GitHubAI 评分3636 Open-Generative-AI：本地运行 200+ 模型的图像视频生成工具
Open-Generative-AI 是一款在本地电脑运行的图像与视频生成工具，提供超过 200 个模型（含 Flux、Kling 等），去除内容过滤并支持离线使用，无需月费。
GitHubAI 评分2222 comfyui-starnodes-modelconverter：ComfyUI 模型格式转换节点
comfyui-starnodes-modelconverter 是一款 ComfyUI 自定义节点，可在工作区内转换生成式 AI 模型文件格式以节省磁盘空间或提升性能，支持 Transformers、FP32、FP16、FP8 以及 INT8、NVFP4 等量化类型。
GitHubAI 评分4848 Utterlane：Android 离线语音转录应用
Utterlane 是一款免费开源的 Android 离线语音输入与音频转录应用，语音识别在设备本地运行，无需账号或订阅。默认模型为 Moondream Parakeet Ultra（2026 年 9 月，约 670MB），慢速设备可用三元量化版 Moondream Parakeet Redux（约 160MB），并支持通过 CrispASR 导入自定义模型。
Hacker NewsAI 评分6666 Veda 发布以 AI 智能体为核心的语音操作系统
Veda 发布一款以 AI 智能体为核心的操作系统，用户通过语音下达指令，智能体直接在内置应用中完成操作，而非读取屏幕或模拟点击。系统内置文本编辑器、照片、音乐、文件、任务管理器、终端等应用，共提供 70 多个动作，应用通过同一套代码响应智能体与鼠标键盘。
Hacker NewsAI 评分3434 Gigabyte W775-V10-L01 GB300 AI 工作站评测
Gigabyte W775-V10-L01 是首款进入评测的 NVIDIA DGX Station 级 GB300 桌面系统，采用液冷设计，最大功耗 1.6kW，可在多数 120V 电路上运行。