W wersji Python 2.0 wkład Intela wykorzystujący rozszerzenie Intel dla PyTorch, oneAPI Deep Neural Network Library (oneDNN) i dodatkowe wsparcie dla procesorów Intela umożliwiają programistom optymalizację wydajności wnioskowania i uczenia sztucznej inteligencji (AI).
Jako część stosu kompilacji PyTorch 2.0, optymalizacja zaplecza procesora TorchInductor przez Intel Extension dla procesorów PyTorch i PyTorch ATen osiągnęła do 1,7 razy wyższą wydajność wnioskowania FP32 w porównaniu z TorchBench, HuggingFace i timm. Ta aktualizacja przynosi znaczące ulepszenia wydajności kompilacji wykresów w porównaniu z trybem gotowości PyTorch.
Inne optymalizacje obejmują:
- Ulepszone przekazywanie komunikatów między sąsiednimi węzłami sieci neuronowej w celu obsługi graficznej sieci neuronowej w PyTorch Geometric (PyG) w celu ulepszonego wnioskowania i treningu wydajności na procesorach Intel.
- Nowy backend kwantyzacji x86 – połączenie backendów FBGEMM (Facebook General Matrix-Matrix Multiplication) i oneDNN – zastępuje FBGEMM jako domyślny backend kwantyzacji dla platform procesorów x86, aby umożliwić lepszą kompleksową wydajność wnioskowania int8.
- Rozszerzone wykorzystanie oneDNN z oneDNN Graph API w celu maksymalizacji wydajnego generowania kodu na sprzęcie AI poprzez automatyczne identyfikowanie partycji grafu, które mają zostać przyspieszone poprzez fuzję. Obsługiwane są typy danych BFloat16 i Float32 i można optymalizować tylko obciążenia wnioskowania; BF16 jest zoptymalizowany tylko na komputerach z obsługą AVX512_BF16 ISA.
