vllm-metal 发布:在 Apple Silicon 上实现并发推理服务
vllm-metal 发布,把 vLLM 的 V1 调度器、分页 KV 缓存和 OpenAI 兼容服务端带到 Apple Silicon,由 MLX 与 Metal 负责执行。
推荐理由:vllm-metal 把 vLLM 的调度与分页 KV 缓存搬到 Apple Silicon,并给出与 llama.cpp、oMLX 的并发对比数据。
内容形态
AI 产品与应用的功能上新、改版与商业化动态——谁家的产品变强了、变贵了、能用了。
104 条精选近 30 天 54 条共收录 8,384 条
vllm-metal 发布,把 vLLM 的 V1 调度器、分页 KV 缓存和 OpenAI 兼容服务端带到 Apple Silicon,由 MLX 与 Metal 负责执行。
推荐理由:vllm-metal 把 vLLM 的调度与分页 KV 缓存搬到 Apple Silicon,并给出与 llama.cpp、oMLX 的并发对比数据。
阿里 Qwen 团队的最新图像模型 Qwen-Image-2.1 已在 ComfyUI 获得原生支持,开源权重、7B 参数,基于优化的 MMDiT 架构,可直接生成带 alpha 通道的 RGBA 图像。
推荐理由:ComfyUI 原生支持 Qwen-Image-2.1,读者可了解其 RGBA 输出与 7B 消费级显存部署的差异。
Together AI 扩展 Fine-Tuning 服务,新增 GLM-5.3、Kimi K2.7、DeepSeek-V4-Flash、Qwen 3.5/3.6/3.8、Gemma 4 等开源权重模型支持,并加入实时实验指标、专家层 LoRA、早停、任意 batch size、数据预览与样本权重等控制项。
推荐理由:原文给出微调全流程的可见性与控制项,读者可据此判断训练实验与部署环节的改动方向。
Google DeepMind 发布 AlphaGenome Atlas,一个包含人类基因组 90 亿个单核苷酸变异效应预测的平台,规模达 1PB,是 AlphaFold Database 的 30 倍以上,已通过网站门户、AlphaGenome API 和 Google Antigravity 中的 skill 开放学术研究免费使用。
推荐理由:原文给出覆盖 90 亿单核苷酸变异的预计算预测与 AVI 评分,读者可了解基因组变异解读的规模化路径。