AWS 发布 Bedrock 部署 NeMo Switchyard 路由教程

AWS 发布教程，讲解如何用 AWS CDK 在用户自己的 AWS 账户中部署开源 LLM 网关 LiteLLM，并加载 NVIDIA NeMo Switchyard 路由插件，把编码智能体的每个请求分派给合适的模型。NeMo Switchyard 是开源库，其 LiteLLM 集成支持 Stage 和 Random 两种路由策略。 AWS 说明，该教程代码仅为示例、不用于生产环境；本地网关仍会调用 Amazon Bedrock 并产生计费，示例请求和冒烟测试都会产生可计费的 Bedrock 调用；运行器会在用户机器上执行模型生成的 Python 代码。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。