微软云Azure的AI计算实例核心配置详解

微软云Azure的AI计算实例核心配置详解

微软云Azure提供了多种AI计算实例，以满足不同用户的需求。这些实例主要基于不同的GPU和CPU组合，以及各自独特的网络配置和存储选项。以下是Azure AI计算实例的核心配置详解：

一、GPU虚机系列概览

Azure的GPU虚机系列主要分为四个系列：NC系列、ND系列、NV系列和NG系列。

• NC系列：主要搭配了较新一代的CPU（如AMD EPYC™ Genoa）和训练推理能力较强的GPU（如NVIDIA H100）。NC系列会做1卡、2卡、4卡的虚拟机型。
• ND系列：整机形态，不做切分，同样搭配了较新一代的CPU（如Intel SPR）和强大的GPU（如AMD Instinct MI300、NVIDIA H100）。
• NV系列和NG系列：都是比较老的卡，不仅做1卡、2卡虚拟机型，也做1/8、1/6、1/4这样的GPU共享切分。搭配的CPU平台也较老。

二、NC系列详细配置

1. NCads_H100_v5-series

   CPU：AMD EPYC™ Genoa处理器。

   GPU：最多配备2个NVIDIA H100 NVL GPU。

   网络：不支持InfiniBand，没有东西向网卡，多机交互依赖VPC网络。

2. NC_A100_v4-series

   CPU：采用NVIDIA A100 PCIe GPU和第三代AMD EPYC™ 7V13（Milan）处理器。

   GPU：NVIDIA A100 GPU。

三、ND系列详细配置

1. ND MI300X v5-series

   CPU：搭配8个AMD Instinct MI300 GPU和Intel SPR CPU，96个物理内核。

   GPU：每个GPU通过第四代AMD Infinity Fabric链路相互连接，带宽为128 GB/s，聚合带宽为896 GB/s。

   网络：每个GPU有自己的专用、拓扑无关的400 Gb/s NVIDIA Quantum-2 CX7 InfiniBand网卡，支持GPUDirect RDMA。

   存储：带了1T本地盘。

2. ND_H100_v5-series

   CPU：8个NVIDIA H100 GPU，搭配Intel SPR处理器。

   网络：每个GPU有自己的专用、拓扑无关的400 Gb/s NVIDIA Quantum-2 CX7 InfiniBand连接，支持GPUDirect RDMA。

   互连带宽：每个VM的互连带宽为3.2Tb/s。

3. 其他ND系列

   NDm A100 v4：每个VM的互连带宽为1.6 TB/s，每个GPU有自己的专用、拓扑无关的200 GB/s NVIDIA Mellanox HDR InfiniBand网卡，搭配96个物理AMD Epyc™ 7V12（rome）CPU。

四、GPU性能对比

以下是Azure使用的几款AMD GPU的基本参数对比，以便用户对GPU的代次和性能有个感知：

• MI300：5nm制程，FP16性能1300TFLOPS，FP32性能653.7TFLOPS，显存128GB HBM3，显存带宽5.3TB/s。
• V620：7nm制程，FP16性能40.55TFLOPS，FP32性能20.28TFLOPS，显存32GB GDDR6，显存带宽512GB/s。
• MI25：14nm制程，FP16性能24.58TFLOPS，FP32性能12.29TFLOPS，显存16 GB HMB2，显存带宽436.2 GB/s。

五、总结

Azure的AI计算实例提供了多种配置选项，以满足不同用户的需求。从较新的NC和ND系列到较老的NV和NG系列，用户可以根据自己的应用场景和预算选择合适的实例。同时，Azure还提供了丰富的网络配置和存储选项，以确保用户能够获得最佳的性能和可靠性。在选择实例时，建议用户根据自己的具体需求进行权衡和选择。