跳到正文
AWS Machine Learning Blog· Muru Bhaskaran·· 11 小时前AI 评分34

在 Amazon EKS 上使用 NVIDIA Run:ai GPU Fractioning 实现 GPU 显存共享

Using NVIDIA Run:ai GPU Fractioning on Amazon EKS

AI 导读

NVIDIA Run:ai GPU Fractioning 通过 KAI Scheduler 和 GPU Fractioning Operator,在 Amazon EKS 上为每个 Pod 强制 GPU 显存上限并输出单 Pod 指标。

正文 · AI 翻译

GPU 共享并非新事物:多实例 GPU(MIG)、时间切片和多进程服务(MPS)分别满足不同的隔离与利用率需求。NVIDIA Run:ai GPU Fractioning 基于 MPS 构建,并集成了 Kubernetes 调度、按 Pod 的内存契约、强制执行和指标。

NVIDIA Run:ai 是面向 Kubernetes 的 AI 工作负载编排软件。其 GPU Fractioning Operator 可帮助多个团队在 Amazon Elastic Kubernetes Service (Amazon EKS) 上共享一到两块 GPU。即使 GPU 内存仍有可用空间,Notebook、模型评估和小型推理服务也可能让团队排队等待。在本演练的基线中,NVIDIA 设备插件将单块 GPU 暴露为一个 nvidia.com/gpu 资源,且 GPU 共享处于禁用状态。两个各自请求 nvidia.com/gpu: 1 的 Pod 无法在该节点上并发运行,即使它们合计的 GPU 内存需求能够满足。

NVIDIA Run:ai GPU Fractioning 为基于软件的共享增加了 Kubernetes 调度集成、强制 GPU 内存限制和按 Pod 的指标。该方法适用于满足 GPU Fractioning Operator 硬件和软件要求的 NVIDIA GPU,包括不支持 MIG 的 GPU。我们使用一台配备 NVIDIA A10G Tensor Core GPU 的 Amazon Elastic Compute Cloud (Amazon EC2) g5.xlarge 实例作为验证示例。其他配置需要兼容性检查和验证。

NVIDIA 于 2026 年 10 月 13 日宣布开源发布 NVIDIA Run:ai。本示例使用其四个模块化组件中的两个:KAI Scheduler 和 GPU Fractioning Operator。KAI Resource Management 和 Workload Map 涉及组织治理和额外工作负载类型,不在本演练范围内。

在本文中,我们展示如何构建自定义 Amazon Linux 2023 (AL2023) 镜像并在 Amazon EKS 上配置 GPU 内存共享。在已验证的 G5/A10G 示例中,您将建立整块 GPU 基线,为每个 Pod 分配 8 GiB 内存契约,并验证 6 GiB 分配。随后检查按 Pod 的指标,测试拒绝 9 GiB 分配,并清理一次性环境。

选择 GPU 共享方案

MIG 在受支持的 GPU 上提供硬件分区。设备插件时间切片共享 GPU,但不提供副本内存或故障隔离。MPS 允许多个 CUDA 进程并发。故障隔离取决于配置。NVIDIA Run:ai GPU Fractioning 增加了强制的按容器内存限制,并支持时间切片(默认)或 sm-sharing 计算模式。NVIDIA 文档说明其默认模式具有独立的工作负载错误域,而 sm-sharing 具有共享错误域。这些并非安全保证。本演练测试内存限制,而非故障隔离或计算性能。内存限制并不预留成比例的计算资源。

Amazon EKS 文档介绍了多种 GPU 共享选项:MIG、使用 NVIDIA 设备插件的时间切片,以及使用 NVIDIA DRA 驱动和 Karpenter 的时间切片。有关如何选择的指导,请参阅 Amazon EKS 最佳实践指南中的 GPU 共享指导。当您需要在没有 MIG 的 GPU 上强制实施按 Pod 的 GPU 内存限制,并且能够运行固定大小的 GPU 节点组时,请选择 GPU fractioning。

动态资源分配(DRA)提供用于请求和分配设备的 Kubernetes API。GPU 共享与隔离取决于设备驱动的实现和已启用的功能。KAI Scheduler 和 GPU Operator 支持 DRA。本演练使用 NvFractions 注解,而非 DRA。

GPU 分片可帮助有闲置时段的交互式笔记本、短时评估作业、GPU 兼容性测试和小型推理服务。请根据实测峰值用量加开销来选择每个 GPU 内存请求,然后在并发负载下测试延迟。所展示的密度提升并不代表吞吐量提升或普遍的成本降低。

解决方案概述

下图展示了在美国东部(俄亥俄)区域(us-east-2)中经过验证的单 GPU 环境。您使用 AWS 命令行界面(AWS CLI)、eksctl、Helm 和 Packer 来构建和运行它。Amazon EKS 控制平面在 AWS 托管的 Amazon Virtual Private Cloud(Amazon VPC)中运行 Kubernetes 1.36 版本,与客户 VPC 分离。它连接到客户 VPC 私有子网中的 EC2 工作节点。

一个 m7i.large 系统节点承载操作器控制器和 KAI Scheduler。KAI Scheduler 将两个 Pod 放置在一个带污点的 g5.xlarge 上,该实例配有一块 A10G,包含 23,028 MiB 的 GPU 内存。

每个 Pod 有 8 GiB 的 GPU 内存限制,并分配 6 GiB 的 GPU 内存。GPU 工作节点使用自定义 AL2023,搭配 NVIDIA R615 驱动分支、NVIDIA Container Toolkit 和 containerd。它运行带有节点资源接口(NRI)集成和用于共享的 MPS 的 fractiond。metricsd 守护进程导出每个 Pod 的 GPU 内存指标。

In us-east-2, the AWS-managed EKS 1.36 control plane connects to private m7i.large system and g5.xlarge GPU workers in a VPC. KAI schedules two Pods on one A10G. Each has an 8 GiB limit and allocates 6 GiB. The AL2023 R615 worker uses NRI, fractiond, MPS, and per-Pod metricsd.

图 1:Amazon EKS 中一个 A10G 上两个 GPU 内存合约的已验证示例

实施演练

本演练使用 AWS Samples 仓库。确认先决条件和已验证的组件版本,然后完成步骤 1 到 10。

先决条件

使用具有 Amazon EKS、AWS CloudFormation、Amazon VPC、Amazon EC2、Amazon Elastic Block Store(Amazon EBS)、AWS Identity and Access Management(IAM)和 AWS Systems Manager(用于 Amazon Machine Image(AMI)发现)权限的 AWS 账户。确认 g5.xlarge、系统节点和临时 m5.xlarge 镜像构建器的配额和容量。安装 AWS CLI v2、eksctl、kubectl、Helm、Packer、Git、jq 和 curl。

使用您常用的 AWS 凭证提供程序:命名配置文件、AWS IAM Identity Center、代入角色或访问密钥环境变量。优先使用临时凭证。使用临时访问密钥时需要 AWS_SESSION_TOKEN。示例使用 us-east-2。其他区域必须支持所选的 Amazon EKS 版本和实例类型。

在选择其他 GPU 之前,请查看 NVIDIA 的 GPU Operator 硬件列表、所选驱动的硬件支持以及 GPU Fractioning Operator 先决条件。仅凭硬件支持并不能确定分片兼容性。本演练仅验证 G5/A10G 配置。AMI 构建目标为 x86_64。检查 CUDA 兼容性和内存余量:两个 8 GiB 合约需要为两个合约和运行时开销留出空间。较小的设备需要较小的合约和调整后的探针。

该演练会创建计费资源,包括 Amazon EKS 控制平面、NAT 网关、实例、卷和 AMI 快照。请使用一次性环境,并在验证完成后彻底清理。

使用经过验证的 AL2023 堆栈

在验证时,EKS 优化的 AL2023 NVIDIA 镜像提供 R580 和 R595 驱动分支。GPU Fractioning Operator v0.1.7 需要 R615 或更新版本。R615 是短生命周期版本,并非 GPU Operator 的默认版本。本示例构建一个自定义的标准 Amazon EKS 1.36 AL2023 镜像,驱动和工具包由 AMI 自带。它不使用在其他操作系统上由 operator 管理的驱动容器。该表记录的是实验室验证结果,而非厂商支持认证。

组件 已验证版本
Amazon EKS 1.36
GPU NVIDIA A10G,23,028 MiB
NVIDIA 驱动 / Container Toolkit 615.71.10 / 1.20.1-1
containerd 2.3.5,启用 NRI
GPU Operator / 设备插件 26.7.1 / 0.20.1
KAI Scheduler / Fractioning Operator 0.18.5 / 0.1.7

我们于 2026 年 10 月 22 日使用 NVIDIA 驱动 615.71.10 验证了本演练。2026 年 11 月 18 日,在更新 GPU 节点污点后,我们使用具有相同驱动的镜像重复了除第 3 步镜像构建之外的每一步。结果一致。该表列出的是已测试的组件版本,而非永久支持矩阵。在更改任何组件之前,请重新查阅 Amazon EKS AMI 文档和 NVIDIA 先决条件。

第 1 步:克隆并配置

克隆仓库,然后根据提供的示例创建本地配置文件并限制其权限:

git clone https://github.com/aws-samples/sample-code-for-gpu-fractioning-on-eks.git
cd sample-code-for-gpu-fractioning-on-eks
cp walkthrough.env.example walkthrough.env
chmod 600 walkthrough.env

克隆后,使用 walkthrough.env 进行配置,使用 run.sh 执行每个阶段。生成的文件和 kubeconfig 保留在被忽略的 .state 目录中。GPU_INSTANCE_TYPE 选择实例类型。仅更改它并不能建立兼容性。

walkthrough.env 中的默认值和可选身份验证设置

AWS_REGION=us-east-2
CLUSTER_NAME=runai-fractioning-blog
EKS_VERSION=1.36
GPU_INSTANCE_TYPE=g5.xlarge
NVIDIA_DRIVER_VERSION=615.71.10

# Choose a profile or access-key variables, not both.
# AWS_PROFILE=my-profile
# AWS_ACCESS_KEY_ID=YOUR_ACCESS_KEY_ID
# AWS_SECRET_ACCESS_KEY=YOUR_SECRET_ACCESS_KEY
# AWS_SESSION_TOKEN=YOUR_SESSION_TOKEN

切勿提交凭据。本地配置文件已被 Git 忽略。在预置之前确认当前身份:

./run.sh check

单独运行各阶段以检查结果,或使用 ./run.sh walkthrough 运行至内存限制测试。清理始终是单独的操作。

第 2 步:创建一次性集群

运行以下命令创建一次性 Amazon EKS 集群及其系统节点:

./run.sh create-cluster

该命令预置一个运行 Kubernetes 版本 1.36 的 Amazon EKS 集群、一个带单个 NAT 网关的专用 VPC、OpenID Connect (OIDC) 集成,以及一个私有 m7i.large 托管节点。

config/eksctl-cluster.yaml.tpl 中的选定字段

iam:
  withOIDC: true
vpc:
  nat:
    gateway: Single
managedNodeGroups:
  - name: system-ondemand
    instanceType: m7i.large
    desiredCapacity: 1
    privateNetworking: true

第 3 步:构建自定义 AL2023 镜像

运行以下命令构建使用 R615 驱动分支的自定义 AL2023 镜像:

./run.sh build-ami

该脚本会发现一个公共构建子网以及用于 AL2023 上 Kubernetes 1.36 的推荐标准 Amazon EKS AMI。Packer 会从 R615 驱动分支安装当前补丁版本和工具包,配置 NVIDIA 运行时,检查软件包状态,并创建加密镜像。特定区域的 AMI ID 存储在 .state/ami-id 中。

NVIDIA_DRIVER_VERSION 选择 R615 分支。它不是精确的补丁固定。该工作流会将发现的驱动版本与 AMI ID 一起记录,并在 AMI 和节点组标签中使用该版本。阅读 .state/installed-driver-version 了解你的构建中观察到的版本。对于生产环境,请在你自己的构建中固定确切的软件包和基础镜像,并验证受支持的驱动分支升级。

只有在验证时,EKS 优化的 AL2023 NVIDIA AMI 未包含 R615 驱动分支,才需要执行此步骤。一旦该 AMI 为你的 GPU 选择的驱动以及其余主机先决条件满足 GPU Fractioning Operator 的要求,就优先使用 EKS 优化的 NVIDIA AMI。请在 GitHub 上查看 Amazon EKS AMI releases 中的驱动版本。该示例的脚本目前需要 R615 驱动和镜像构建产生的元数据,因此使用标准 AMI 也需要修改脚本。

ami/eks-al2023-r615.pkr.hcl 中的相关 Packer 设置

source "amazon-ebs" "eks_al2023_r615" {
  source_ami = var.source_ami_id
  region = var.aws_region
  encrypt_boot = true
  metadata_options {
    http_tokens = "required"
  }
}

SOURCE_AMI_ID 和 PACKER_SUBNET_ID 是用于指定已批准的基础镜像或构建子网的可选覆盖项。当操作系统或 GPU 栈发生变化时,请重新构建并测试镜像。

步骤 4:添加 GPU 工作节点

运行以下命令,添加使用自定义镜像的 GPU 托管节点组:

./run.sh add-gpu-node

默认情况下,托管节点组使用自定义镜像,并保持为一个 On-Demand g5.xlarge,即经过验证的 GPU 工作节点。GPU 污点会排除普通工作负载。该脚本禁用了 eksctl 的 NVIDIA device-plugin 安装,因为该组件由 GPU Operator 管理。

config/eksctl-gpu-nodegroup.yaml.tpl 中的部分字段

managedNodeGroups:
  - name: gpu-g5-r615-ondemand
    instanceType: g5.xlarge
    ami: <generated-ami-id>
    amiFamily: AmazonLinux2023
    desiredCapacity: 1
    minSize: 1
    maxSize: 1
    privateNetworking: true
    taints:
      - key: nvidia.com/gpu
        effect: NoSchedule

步骤 5:安装 GPU Operator 并检查主机

运行以下命令,安装 GPU Operator 并检查 GPU 工作节点的主机配置:

./run.sh install-gpu-operator

GPU Operator 26.7.1 提供 device plugin 和 Kubernetes 集成。其配置保留镜像自带的驱动和工具包:

driver:
  enabled: false
toolkit:
  enabled: false

同一命令会在 GPU 工作节点上运行一个临时特权检查 Pod,打印主机配置,然后删除该 Pod。经过验证的节点报告如下:

观测到的主机配置

GPU: NVIDIA A10G, 23028 MiB
Driver: 615.71.10
NVIDIA Container Toolkit: 1.20.1-1
containerd: 2.3.5
cgroup filesystem: cgroup2fs
NRI socket paths:
  /var/run/nri/nri.sock
  /run/nri/nri.sock

在此 AL2023 节点上,/var/run 是指向 /run 的符号链接。两个路径标识同一个套接字。请将特权检查限制在一次性环境中,并确认 Pod 已被删除。

步骤 6:建立整 GPU 基线

运行以下命令,在安装 fractioning 之前测试整 GPU 调度:

./run.sh baseline

每个基线 Pod 都将 nvidia.com/gpu 的请求和限制设为 1。该测试假设有一个可用的物理 GPU 且共享已禁用:一个 Pod 运行,另一个保持 Pending。这展示了安装 fractioning 之前的整设备调度约束。在多 GPU 节点上,请调整此基线,并验证两个 fractional 工作负载使用同一 GPU。

实测基线结果

NAME          READY   STATUS    NODE
whole-gpu-a   1/1     Running   <gpu-node>
whole-gpu-b   0/1     Pending   <none>

脚本会检查此状态并删除两个基线 Pod。

步骤 7:安装 KAI Scheduler 和 GPU Fractioning Operator

运行以下命令,安装包含 GPU Fractioning Operator 的 KAI Scheduler:

./run.sh install-kai

固定版本的 KAI Scheduler 0.18.5 chart 包含 GPU Fractioning Operator 0.1.7。这些 values 会启用 NvFractions 和每 Pod 指标,同时保留 GPU 栈版本检查。可选的 nvidia.com/container.<name>.gpu-compute.mode 注解用于选择计算模式。这些工作负载不会更改默认值。

helm/kai-values.yaml 中的相关字段

global:
  gpuSharingMode: NvFractions
  nvFractions:
    set: true
gpu-fractioning:
  metricsAgent:
    enabled: true
  skipGpuStackVersionChecks: false

在验证中,FractiondReady、MpsdReady 和 Ready 均为 True。DriverUpgradeInProgress 为 False,原因为 NoDriverUpgrade,这与 AMI 保留驱动所有权的情况一致。

步骤 8:运行正向共享测试

运行以下命令,部署两个具有 8 GiB GPU 内存契约的 Pod:

./run.sh share

每个 Pod 都将内存请求和限制设为 8 GiB,并选择 kai-scheduler。两者都不请求整个 nvidia.com/gpu 资源。该仓库会应用这些调度字段,并运行一个分配 6 GiB 的 CUDA 探针:

kubernetes/fraction-8gi-pods.yaml 中的关键字段

metadata:
  annotations:
    nvidia.com/container.gpu-workload.gpu-memory.request: 8Gi
    nvidia.com/container.gpu-workload.gpu-memory.limit: 8Gi
spec:
  schedulerName: kai-scheduler
  runtimeClassName: nvidia

实测正向结果

NAME             READY   STATUS    NODE
fraction-8gi-a   1/1     Running   <same-gpu-node>
fraction-8gi-b   1/1     Running   <same-gpu-node>

该脚本会验证节点名称和 GPU UUID 是否匹配。在验证过程中,两个 Pod 都看到 8,192 MiB,并报告 allocation_succeeded_mib=6144。这些检查确认了它们位于同一块物理 GPU 上、设备视图受到限制,以及各自在合约范围内成功完成分配。

每个 Pod 测得的分配输出

NVIDIA_GPU_MEMORY_LIMIT=8192
requested_allocation_mib=6144
allocation_succeeded_mib=6144

在两个 Pod 均保持活动状态时观察内存

./run.sh metrics

gpu_fractioning_gpu_memory_used_bytes 指标按 Pod 和 GPU UUID 归属内存。观察到的每个 Pod 6,394 MiB(约 6.24 GiB)比探针的 6,144 MiB 分配多出 250 MiB。指标可能包含 CUDA 上下文和运行时开销。本实验不测量这一细分项。在监控共享设备时,请将工作负载身份与请求、限制和使用量数值一并保留。

测得的每个 Pod 指标序列

gpu_fractioning_gpu_memory_used_bytes{
  gpu_uuid="<same-gpu-uuid>",
  namespace="runai-fractioning-test",
  pod="fraction-8gi-a"} 6.704594944e+09

gpu_fractioning_gpu_memory_used_bytes{
  gpu_uuid="<same-gpu-uuid>",
  namespace="runai-fractioning-test",
  pod="fraction-8gi-b"} 6.704594944e+09

步骤 9:验证超过限制时被拒绝

运行以下命令,测试超过 8 GiB 合约的分配:

./run.sh limit

此命令会删除正向测试的 Pod,并创建一个具有 8 GiB 合约的 Pod,该 Pod 尝试分配 9 GiB。探针报告:

测得的超限结果

NVIDIA_GPU_MEMORY_LIMIT=8192
requested_allocation_mib=9216
allocation_failed=out of memory

测得的负向测试 Pod 状态

NAME                      READY   STATUS      NODE
fraction-8gi-over-limit   0/1     Completed   <gpu-node>

此处,cudaMalloc 返回内存不足错误,探针在退出并返回代码 0 之前会处理该错误。Completed 是预期结果,而不是 OOMKilled。这演示的是分配被拒绝,而不是容器终止或一般性故障隔离。

步骤 10:清理

在删除集群之前捕获 VPC ID。后续的独立检查使用默认集群名称和区域。如果你更改了这些配置值,请替换为你配置的值。

捕获 VPC ID

VPC_ID=$(aws eks describe-cluster \
  --name runai-fractioning-blog --region us-east-2 \
  --query cluster.resourcesVpcConfig.vpcId --output text)

移除一次性环境

./run.sh cleanup

标准清理会删除测试命名空间、Helm 发布和一次性集群,同时保留自定义 AMI 及其 Amazon EBS 快照。

验证资源删除

aws eks describe-cluster \
  --name runai-fractioning-blog --region us-east-2
aws cloudformation describe-stacks \
  --stack-name eksctl-runai-fractioning-blog-cluster \
  --region us-east-2
aws ec2 describe-vpcs --vpc-ids "$VPC_ID" --region us-east-2

对于已删除的资源,应预期收到明确的资源未找到响应。身份验证或权限错误不能证明删除成功。还要检查剩余的节点组和带有集群标签的实例。如果清理失败,请检查 CloudFormation 事件,并在重试前解决所拥有的依赖项。Amazon EKS 端点不存在并不能证明其 VPC 已消失。

仅当不再需要自定义 AMI 及其 Amazon EBS 快照时,才使用 ./run.sh cleanup-all。如果镜像删除被拒绝,请确认 AMI ID 和示例所有权标签。不要绕过该保护措施。

生产环境注意事项

将此视为行为验证。使用受信任的工作负载,并应用最小权限 IAM、命名空间控制、经批准的镜像,以及针对分数请求的准入规则。当需要更强隔离时,在受支持的硬件上选择整块 GPU 或 MIG。

固定版本的分数化守护进程使用特权容器、主机 PID 访问以及 NRI/MPS 主机挂载。请仅限受信任的管理员部署和配置它们。

为 CUDA 上下文、缓存、批处理和运行时开销留出余量。在并发负载下测量延迟和吞吐量。监控分配失败、MPS 健康状况、NRI 连接和 GPU 错误。将基础 AMI、驱动程序、工具包、设备插件、操作器、调度器和工作负载镜像固定为一个经过测试的组合。在推广前重新构建镜像并测试回滚。

本演练需要预先配置的 GPU 容量。它不会配置或验证感知 GPU 分数的自动扩缩容。分数 Pod 选择 kai-scheduler,不请求 nvidia.com/gpu 资源,并使用 nodeSelector,其目标节点组固定为一个节点。Karpenter 对辅助调度器的支持是一个开放的功能请求(GitHub 上的 issue #742)。自定义镜像无法在 Amazon EKS Auto Mode 管理的节点上运行,因为 Auto Mode 选择并管理其 AMI。集群可以将 Auto Mode 管理的节点与托管节点组混合,但我们未在此类集群中验证本演练。

使用 Karpenter 的团队可以在 EC2NodeClass 中按 ID 引用同一个自定义 AMI。自动扩缩容限制仍然适用。我们未验证此路径。

KAI Scheduler 是第二个调度器。它负责处理选择它的 Pod 的排队和放置。如果你已经在使用 Kueue,在采用 KAI Scheduler 之前,请先确定由哪个组件负责 GPU 工作负载的排队。

我们建议在 GPU 节点上运行 Amazon EKS 节点监控代理。在 2026 年 11 月 18 日的一次回归运行中,该代理在启用 MPS 共享的自定义 R615 镜像上运行,并在整个共享和限制测试期间报告 GPU 状态正常。该次运行未测试故障检测。由于 GPU Operator 已经运行一个数据中心 GPU 管理器(DCGM)主机引擎,请将代理配置为使用该主机引擎,而不是其捆绑的主机引擎。

结论

在本文中,我们展示了如何使用自定义 AL2023 镜像在 Amazon EKS 上配置 GPU 内存分数化,并以 G5/A10G 作为经过验证的示例。在检查先决条件并验证所选配置后,该方法可扩展到兼容的 NVIDIA GPU。你建立了整块 GPU 的基线,在同一块 GPU 上运行了两个有界工作负载,检查了每个 Pod 的内存使用情况,并验证了超过限制的分配会被拒绝。当工作负载内存适配时,分数化可以改善对现有容量的访问。生产采用还需要隔离控制和性能测试。

要重复该实验,请克隆 AWS Samples 仓库,并将你的结果与其经过验证的证据进行比较。在将该示例适配到你的工作负载之前,请先查阅 GPU Fractioning Operator 文档和 Amazon EKS 加速 AMI 指南。

本文中的内容和观点属于第三方作者,AWS 不对本文内容或准确性负责。


关于作者

Muru Bhaskaran

Muru Bhaskaran

Muru Bhaskaran 是 Amazon Web Services 的高级专家解决方案架构师。他拥有超过 20 年的经验,帮助企业管理使用加速计算和 Kubernetes 构建安全、可扩展的 AI 训练和推理基础设施,重点关注生产就绪性和性价比。

Robert Ferrer

Robert Ferrer

Robert Ferrer 是 Amazon Web Services 的专家解决方案架构师。他专注于大规模模型训练和推理、GPU 加速基础设施、分布式计算和代理式 AI。他与客户合作,权衡计算、网络、存储、编排、弹性和成本方面的架构取舍,帮助他们从实验走向可靠的生产。

Eliuth Triana

Eliuth Triana

Eliuth Triana 是 NVIDIA 亚马逊团队的开发者关系经理。他负责连接亚马逊和 AWS 的产品负责人、开发者和科学家与 NVIDIA 的技术专家和产品负责人,以加速亚马逊模型推理与训练、ML/DL 工作负载、Amazon EC2 产品以及 AWS AI 服务。Eliuth 是一位充满热情的越野山地自行车手、网球运动员、滑雪爱好者和扑克玩家。

Felipe Garcia

Felipe Garcia

Felipe Garcia 是 NVIDIA 云服务提供商 GTM 团队中负责 AI 云服务的高级解决方案架构师。他帮助云服务提供商构建和扩展 GPU 加速的 AI 基础设施,重点关注云原生架构以及将 AI 工作负载从实验推向生产。

来源:AWS Machine Learning Blog · aws.amazon.com