跳到正文
#部署/工程
10月13日周二
  7. Hacker News22

    爱尔兰数据中心产生的热量都去哪了？

    2025 年爱尔兰数据中心消耗了全国 23% 的计量电力，几乎全部最终转化为热量，但如何处理这些余热该国才刚开始讨论。都柏林一座商业数据中心五年平均 PUE 为 1.27，而 AI 训练机架功耗远超传统机架，正推动行业转向液冷。Tallaght 区域供热项目已用 Amazon 数据中心的余热为 133 套公寓等建筑供热，2025 年减碳超 1,400 吨。

  9. AWS Machine Learning Blog34

    如何用 Ray LLM Deep Learning Containers 在 Amazon EKS 上运行多节点推理

    AWS 发布 Ray LLM Deep Learning Containers，可在 Amazon EKS 上用两个 GPU 节点部署单个大语言模型，将 prefill 与 decode 阶段分离并统一在一个 OpenAI 兼容端点后。该容器内置 vLLM、Ray Serve LLM、NIXL 和 EFA 栈，整个服务应用仅需一段 YAML，无需编写 handler 或构建自定义镜像。

10月12日周一
  6. GitHub62

    cavi-ai 开源 MCP 服务器评测工具 mcp-eval

    cavi-ai 发布开源工具 mcp-eval，用于评测 MCP 服务器，分两条线：确定性基准测试以 manifest 驱动探针套件对 stdio 或 Streamable HTTP 服务器给出通过/失败判定，全程不调用 LLM、结果可复现；摩擦捕获则通过隐私保护 shim 在生产式智能体会话中记录服务器实际给智能体带来的开销，并把重复摩擦升级为可查询的 finding。

  11. Hacker News32

    Veda 发布首个内置 AI Agent 的智能体业余操作系统

    Veda 发布首个将 AI Agent 直接集成进内核的业余操作系统，用 Rust 从零构建，含基于能力的微内核与完整驱动栈，运行于 x86-64 硬件和 QEMU，已在 GitHub 公开测试版。该 Agent 作为系统服务运行，可通过语音或任务栏唤起，经原生 API 与应用交互，提供 70 多个内置操作，语音识别、语言模型与语音合成由 Deepgram 的 Voice Agent 平台驱动。

  16. GitHub22

    Nexus-LLM：终端里的开源 LLM 框架，支持 39+ 模型训练、对话与部署

    Nexus-LLM 是一个开源终端 LLM 框架，自带 FastAPI 后端、无需云 API，覆盖模型加载、推理、训练、微调、RAG、智能体与部署全流程，支持 GPT-2、LLaMA、Phi、Qwen 等 39+ 模型。它提供 25+ 斜杠命令、LoRA/QLoRA 微调、FAISS 向量检索、REST 与 WebSocket 服务，并支持 4-bit/8-bit 量化与 Docker 部署。

  21. GitHub30

    Llooma：可自托管的多模型聊天应用早期预览版发布

    开源项目 Llooma 发布早期预览版，支持接入 Ollama、OpenAI、Claude、Infomaniak 等模型，以 Docker 单容器自托管运行，默认无登录、首次启动创建所有者账户。它提供 Persona 角色、浏览器内文档读取、服务端生成与 /compact 对话压缩，并支持全文搜索、六种主题和 PWA 安装。项目基于 Hollama 分叉，采用 MIT 许可，明确不适用于生产环境。