Generacyjne rozwiązania sztucznej inteligencji, takie jak ChatGPT, przyspieszyły popyt na usługi chmurowe typu multi-ExaOP, które mogą obsługiwać duże zestawy szkoleniowe i wykorzystywać najnowsze narzędzia programistyczne. Nowe maszyny wirtualne platformy Azure ND H100 v5 oferują tę możliwość organizacjom dowolnej wielkości, niezależnie od tego, czy jesteś mniejszym start-upem, czy większą firmą, która chce wdrożyć wdrożenia szkoleniowe AI na dużą skalę. Podczas gdy Microsoft nie wysuwa żadnych bezpośrednich oświadczeń dotyczących wydajności, NVIDIA reklamowała H100 jako działającą do 30 razy szybciej niż poprzednia architektura Ampere, która jest obecnie oferowana z maszynami wirtualnymi ND A100 v4.
Microsoft Azure zapewnia następujące specyfikacje techniczne dla nowych maszyn wirtualnych:
- 8 procesorów graficznych NVIDIA H100 Tensor Core połączonych za pośrednictwem NVSwitch nowej generacji i NVLink 4.0
- 400 Gb/s NVIDIA Quantum-2 CX7 InfiniBand na GPU z 3,2 Tb/s na maszynę wirtualną w nieblokującej się sieci fat-tree
- NVSwitch i NVLink 4.0 z dwusekcyjną przepustowością 3,6 TB/s między 8 lokalnymi procesorami graficznymi w każdej maszynie wirtualnej
- Skalowalne procesory Intel Xeon czwartej generacji
- Połączenie hosta PCIE Gen 5 z GPU z przepustowością 64 GB/s na GPU
- 16 kanałów modułów DIMM DDR5 4800 MHz
Sądząc po tym, co wiemy o NVIDIA Hopper, prawdopodobnie oznacza to, że Microsoft używa albo własnych stojaków wypełnionych DGX H100, albo wykorzystuje technologię NVIDIA DGX SuperPOD który zawiera DGX H100 o wysokości pięciu i aż 16 w poprzek, co daje w sumie 640 procesorów graficznych z 337 920 rdzeniami tensorowymi. Nie zapominaj, że każdy DGX H100 zawiera również dwa procesory Intel Xeon Scalable. Ponieważ Microsoft już określił, że ich systemy korzystają z najnowszych procesorów Sapphire Rapids Xeon firmy Intel, które mogą być wyposażone aż 60 rdzeni każdy, niż potencjalnie dostępnych jest 9600 rdzeni x86, które pomogą zasilić te ogromne procesory graficzne.
Microsoft Azure otworzył podgląd usługi ND H100 v5 VM i możesz się zarejestrować poproś o dostęp tutaj.
