跳到正文
10月8日周四
  1. arXiv cs.AI22

    面向边缘端智能数据模型分类的小语言模型:一种成本感知的混合方法

    该研究评估了轻量级开源语言模型在资源受限的边缘环境下,将输入数据实体匹配到最合适智能数据模型(SDM)的表现,并系统基准测试了通用、推理专用和代码专用三类架构在多个领域数据集上的效果。实验还将所调研的大语言模型与 TF-IDF 和轻量级句子编码器两种近零成本相似度基线进行对比,为判断 LLM 分类在边缘平台上的实用价值提供参考。

  2. 科技媒体 RSS62

    Prism ML 用 1.5 bit 量化将 Qwen 27B 内存占用从 60GB 压缩至 6GB

    Prism ML 的一个团队把阿里巴巴 Qwen 27B 的数值存储从 16 bit 改为 1.5 bit,将内存占用从通常约 60GB 压缩到 6GB,同时保留 95% 的性能。压缩后该模型可在树莓派上运行。Emad Mostaque 称 AI 模型几乎已经达到人脑的效率,并称 6GB 下其能耗与人脑相当。完整视频在 Tom Bilyeu 的 YouTube 频道。

  3. 科技媒体 RSS62

    GitHub Copilot 将支持本地 AI 模型推理,MAI Code 1.1 Flash 在 Surface Laptop Ultra 上吞吐最高每秒 63 词元

    微软在旧金山发布会宣布,GitHub Copilot 将于本月底前支持本地 AI 模型推理,开发者可在云端模型与设备端模型之间自动或手动切换。该设置覆盖 GitHub Copilot CLI、Copilot 应用与 Visual Studio Code。MAI Code 1.1 Flash 在 Surface Laptop Ultra 上吞吐最高每秒 63 词元。

  4. 科技媒体 RSS62

    微软 Copilot for Windows 将引入本地上下文与本地模型的混合智能

    微软宣布 Copilot for Windows 将获得混合智能,可在用户许可下使用本地 PC 上下文、代表用户执行操作并调用本地模型。Satya Nadella 表示 Windows 通过智能路由、强大的本地模型和高性能运行时,让工作在本地或云端最合适的位置运行,并让 GitHub 等服务在 Windows 上智能路由以节省 token 消耗,Windows 测试即将开始。

  5. NVIDIA Blog71

    NVIDIA 与 Microsoft 发布 RTX Spark 及 Windows 智能体基础设施

    NVIDIA 与 Microsoft 在旧金山 Windows AI 活动上宣布为 Windows PC 的 AI 智能体共同设计软硬件,Microsoft 宣布 OS 级基础设施 Microsoft Execution Containers(MXC)正式可用,让智能体在系统控制下安全持久地在后台运行。

    推荐理由:原文给出 RTX Spark 的硬件规格与本地模型运行能力,读者可据此判断 Windows 端侧 AI 的算力边界。

  6. 科技媒体 RSS62

    微软宣布 Meta Muse 智能体将登陆 Windows 平台

    微软在 Surface 新品发布会上宣布,Meta 的 Muse 智能体将以原生应用形式登陆 Windows 平台,并集成 MXC SDK。Perplexity 的便携电脑工具可在端侧执行复杂 AI 任务,无需消耗云积分,OpenClaw 也将推出原生 Windows 网关。Windows 系统还将新增入门指南,帮助用户配置和运行 AI 智能体。

  7. 科技媒体 RSS60

    Perplexity 开源 pplx-embed-v2-late 多模态嵌入模型,含 9B 与 0.6B 两个版本

    Perplexity 开源 pplx-embed-v2-late,包含 9B 和 0.6B 两个面向文本与图像的 late-interaction 多向量嵌入模型,两者共享同一嵌入空间,权重已在 Hugging Face 提供。9B 可用于索引多模态数据,0.6B 可在设备端查询,无需 OCR 即可检索 PDF 页面。模型在 MADQA 得分 92.4%,BrowseComp+ 得分 64%。

10月7日周三
  1. Hacker News25

    Liatir:开源本地优先的生物信息学与 AI 桌面应用

    Liatir 是一款开源、本地优先的生物信息学与 AI 桌面应用,把虚拟实验室搬进桌面,数据无需上传云端,也无需拼凑多个独立工具。它无需写代码即可使用,同时通过支持 Node、Python 和 Rust 的插件系统保持可扩展性,并提供常规生物信息学工具、本地科学 AI 模型、Nextflow 等工作流系统集成以及按需 API 调用。