BT联合高校与英伟达发布InferSlice推理架构

BT联合布里斯托大学与NVIDIA提出InferSlice参考架构，用于在电信基础设施上实现由服务等级目标（SLO）驱动的LLM推理，并在英国JOINER全国广域网完成验证。 验证结果显示：分层服务可形成不同的延迟-吞吐区间；权重流式加载能缩短扩容时间；复制对放置不敏感但受内存限制；流水线并行可容忍近距与中距跨站点跳转；张量并行与预填充/解码分离在超出单一子网跳后失效。 该架构整合网络切片、GPU分区、弹性服务和可观测性，目前为参考架构层面的验证结果。

AI 根据报道生成 · 48 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。