NVIDIA Technical Blog· Zhihan Jiang·· 1 天前AI 评分40
NVIDIA Vera Rubin NVL72 在 MLPerf Endpoints v1.0 上领跑智能体推理性能
NVIDIA Vera Rubin NVL72 Leads Agentic Inference Performance on MLPerf Endpoints v1.0
AI 导读
NVIDIA Vera Rubin NVL72 在 MLPerf Endpoints v1.0 智能体推理基准中取得领先性能。该基准通过 API 调用编码与企业工作流,评估推理系统在服务容量与响应速度之间的平衡,对应 AI 智能体跨轮次携带增长对话历史、混合生成推理、工具调用与回复的实际负载。
正文 · AI 翻译
Agentic 工作负载对推理系统提出了更高要求。AI agent 在多轮对话中携带不断增长的对话历史,并生成推理、工具调用和响应等多种内容。推理系统必须在支持大规模用户的同时保持响应能力。MLPerf Endpoints v1.0 通过 API 使用编码和企业工作流来评估服务容量与响应能力之间的这种平衡……
Agentic 工作负载对推理系统提出了更高要求。AI agent 在多轮对话中携带不断增长的对话历史,并生成推理、工具调用和响应等多种内容。推理系统必须在支持大规模用户的同时保持响应能力。MLPerf Endpoints v1.0 通过 API 使用编码和企业工作流来评估服务容量与响应能力之间的这种平衡……
来源:NVIDIA Technical Blog · developer.nvidia.com