Reflection AI 开源编码智能体模型 Beam，并给出 AWS 部署路径
Reflection AI 推出开源权重模型 Beam，面向编码智能体与长周期任务，可维护代码、调用工具并完成多步工作流。
推荐理由：文章给出 Beam 的参数量、上下文长度与三种部署路径，可据此判断开源编码模型在 AWS 上的落地成本。
内容形态
教程实践 最新动态
拿来就能用的实操内容：提示词技巧、工作流搭建、工具用法与踩坑经验。
16 条精选近 30 天 12 条共收录 903 条
更新
教程实践的精选
AWS Machine Learning Blog精选AI 评分6666 vLLM Blog精选AI 评分6060 AMD 与 vLLM 如何在 MI355X 上优化 Kimi K3 推理：AgentX 吞吐超 NVIDIA HGX B300 24.4%
AMD 与 Embedded LLM 在 vLLM Blog 详解 Kimi K3 在八卡 AMD Instinct MI355X 上的推理优化，在 AgentX 基准 50 tokens/s/user P90 交互性下达到约 7。
推荐理由：AMD 与 vLLM 社区拆解 Kimi K3 在 MI355X 上的六项推理优化，可迁移到自建推理栈的瓶颈排查。
Apple Machine Learning Research精选AI 评分6666 Apple 用 MLX 与 RDMA 在 Mac Studio 上实现本地及分布式大模型推理
Apple 发布 MLX 新版本，展示在 Mac Studio 上本地运行前沿大模型：四台 M5 Ultra 组成的集群运行 816B 参数的 Muse Spark Open 时生成速度超过 36 tokens/s，单机 M5 Ultra 相比 M3 Ultra 的 TTFT 最高快 4.6 倍、生成速度提升 1.6 倍。
推荐理由：Apple 官方给出 MLX 在 Mac Studio 集群上跑近万亿参数模型的实测数据，可据此判断本地大模型推理的可行边界。
vLLM Blog精选AI 评分7676 vLLM 提出训练推理逐位一致的 RL 训练方案，DeepSeek-V4-Flash 上 diff 为 0
vLLM 团队提出让训练前向直接调用 vLLM 推理 kernel 并修改这些高性能 kernel，使 rollout 与训练对每个采样 token 产生逐位相同的 logprob（diff = 0）。
推荐理由：原文给出训练与推理逐位一致的具体做法与吞吐代价，可据此判断高性能 RL 训练中数值对齐的取舍。
AWS Machine Learning Blog精选AI 评分6060 在 Amazon Bedrock 上用 Grok 4.7 构建长时程智能体
AWS 团队在 Amazon Bedrock 上基于 Grok 4.7 构建工具调用智能体，在三个需要搜索而非查表验证的任务上跑了 72 次，答对 67 次，xhigh 档位 18 次全对。
推荐理由：通过 72 次可复现的智能体运行，量化了 Grok 4.7 各推理档位在正确率与 token 成本间的取舍。
vLLM Blog精选AI 评分6262 vLLM 引入双向 KV 传输，多轮智能体负载 TTFT 最高降低 3.3 倍
vLLM 新增双向 KV 传输能力，让 decode 节点把已计算的 KV 块回传给 prefill 节点，避免多轮对话中重复计算历史上下文。在 1P1D 部署、Amazon EC2 P5en 加 AWS EFA 的测试中，最长提示下 Qwen3-32B 的 TTFT 降低约 1.6 倍，zai-org/GLM-5-FP8 降低约 3.3 倍。
推荐理由：原文给出双向 KV 传输的架构、可调参数与复现步骤，读者可据此评估多轮智能体场景下的 TTFT 收益。
Comfy Blog精选AI 评分6060 如何在单张 RTX 5090 上用 MiniMax H3 生成实时视频
作者用 FastVideo 的 FastH3 V2 checkpoint 配合四步采样、稀疏注意力 VSA、ClipProj 小文本编码器、INT8 剪枝 checkpoint。
推荐理由：作者把单张 RTX 5090 上跑实时视频的七项优化逐条拆开，可迁移到其他视频模型的推理部署。
PyTorch Blog精选AI 评分6060 NVIDIA Dynamo 如何用会话级 ID 实现智能体推理
NVIDIA Dynamo 提出以统一的会话级 ID 把请求级服务基础设施改造成程序感知系统，支持会话感知路由、共享 KV cache 索引和跨 vLLM、SGLang 的程序化缓存迁移。
推荐理由：原文给出会话级 ID、追踪回放与调度策略的完整设计，可据此理解智能体推理服务栈的改造路径。
vLLM Blog精选AI 评分6262 vLLM 优化 DeepSeek-V4.1-Flash：智能体吞吐提升 5 倍
vLLM 团队与 Inferact 在 DeepSeek-V4.1-Flash 发布后三周内完成优化，在 SemiAnalysis AgentX 智能体服务基准上低并发提速 1.9 倍、150 TPS 约束下吞吐提升 5.3 倍。
推荐理由：原文逐项列出 vLLM 侧的系统优化与对应加速比，可据此判断长上下文智能体推理的部署成本走向。
OpenRouter Announcements精选AI 评分6262 OpenRouter 对比四家服务端代码执行工具：OpenAI、Anthropic、Google 与自家 shell
OpenRouter 发布对比文章，梳理 OpenAI、Anthropic、Google 及自家 openrouter:shell、openrouter:bash 四类服务端代码执行工具，模型在 API 请求内直接调用沙箱运行命令并取回输出。
推荐理由：对比四家服务端代码执行沙箱的能力、计费与安全边界，可据此判断自建还是托管。
OpenRouter Announcements精选AI 评分6262 OpenRouter 发布基于置信度阈值的模型升级路由指南
OpenRouter 发布指南，介绍用置信度阈值做模型升级路由：让模型通过 structured outputs 返回 0 到 1 的数值置信度字段，低于阈值的请求再转给更强的模型。
推荐理由：OpenRouter 给出用置信度分数做模型升级路由的完整五步流程，可迁移到自己的推理成本控制中。
vLLM Blog精选AI 评分6060 vLLM 分离式服务实践指南：拆开 Prefill、Decode 与 CPU 前端
vLLM 官方博客发布分离式服务实践指南，介绍如何把 Prefill、Decode 和 tokenization/解析等 CPU 工作拆成独立层级，需 vLLM v0.30.0 或更高版本。
推荐理由：vLLM 官方拆解分离式服务的四层架构，给出实测数据与配置命令，可据此判断是否值得拆分。
vLLM Blog精选AI 评分6262 vLLM 团队如何用 GB300 NVL72 训练 Kimi K3 的 DSpark 草稿模型
vLLM 团队基于 Speculators 训练库为 2.8T 参数的 Kimi K3 训练出 DSpark 草稿模型，在数学推理上把单流交互速度从约 110 提升到约 435 tok/s/user，并发负载下同等交互速度的输出吞吐最高提升约 3.5 倍。
推荐理由：vLLM 团队公开了在 GB300 NVL72 上训练 Kimi K3 DSpark 草稿模型的完整方案，含 Mooncake 跨节点隐藏态传输与部署命令。
Augment Code Blog精选AI 评分6666 Augment 如何搭建软件工厂：从编码智能体到全流程自动化
Augment Code 公开其软件工厂实践，在 2025 年 11 月至 2026 年 7 月间把每位活跃开发者的规模调整后产出从 12.3 提升到 55.7，即 4.5 倍，同时 PR 中位合并时间从 11.2 小时降至 3.1 小时，14 天回滚率从 1.9% 降至 0.4%。
推荐理由：Augment 公开了软件工厂的搭建顺序与各环节智能体分工，可对照自身瓶颈判断先自动化哪一步。
Augment Code Blog精选AI 评分6262 Augment 如何重写 Auggie CLI harness，使任务成本比 Claude Code 低 53%
Augment 重建 Auggie CLI 的 harness，在 SWE-bench Pro 上以相同通过率完成任务花费 1.27 美元，而 Claude Code 为 2.70 美元，便宜 53%。
推荐理由：Augment 公开了 CLI harness 重写的取舍过程与 SWE-bench Pro 成本对比，可参考其工具面收窄与检索替代探索的思路。
Modem Blog精选AI 评分6262 Modem 详解编码智能体如何读代码：如何为智能体写可检索的代码
Modem 发布《Writing Code for Agents》系列第一篇，指出编码智能体主要靠 grep/ripgrep 做文本搜索来导航代码库，因此变量、函数、文件名本身就是搜索词。
推荐理由：Modem 用自家 68 万行 LLM 生成代码库的实测数据，说明命名与类型如何影响智能体的检索开销与准确率。