Intel optymalizuje PyTorch dla Lamy 2 na Arc A770, wyższa precyzja FP16


Firma Intel właśnie ogłosiła optymalizacje dla PyTorch (IPEX), aby wykorzystać funkcje akceleracji AI swoich procesorów graficznych Arc „Alchemist”. PyTorch to popularna biblioteka uczenia maszynowego, która często jest kojarzona z procesorami graficznymi NVIDIA, ale w rzeczywistości jest niezależna od platformy. Można go uruchomić na różnych urządzeniach, w tym na procesorach i kartach graficznych. Jednak wydajność może nie być optymalna bez określonych optymalizacji. Firma Intel oferuje takie optymalizacje za pośrednictwem rozszerzenia Intel Extension for PyTorch (IPEX), które rozszerza PyTorch o optymalizacje zaprojektowane specjalnie dla sprzętu obliczeniowego Intel.

Firma Intel opublikowała post na blogu szczegółowo opisujący sposób uruchomienia dużego modelu językowego Llama 2 Meta AI na karcie graficznej Arc „Alchemist” A770. Model wymaga 14 GB pamięci RAM GPU, dlatego rekomendowana jest wersja A770 z 16 GB. Rozwój ten można postrzegać jako bezpośrednią reakcję na narzędzie NVIDIA Chat with RTX, które umożliwia użytkownikom GeForce wyposażonym w procesory graficzne RTX z serii 30 „Ampere” i RTX 40 z serii „Ada” o pojemności > 8 GB na uruchamianie modeli PyTorch-LLM na swoich kartach graficznych . NVIDIA osiąga mniejsze zużycie pamięci VRAM poprzez dystrybucję wersji modeli skwantowanych na poziomie INT4, podczas gdy Intel wykorzystuje bardziej precyzyjną wersję FP16. Teoretycznie nie powinno to mieć większego wpływu na wyniki. Ten wpis na blogu firmy Intel zawiera instrukcje dotyczące konfigurowania wnioskowania Llama 2 za pomocą PyTorch (IPEX) na A770.



Source link

Advertisment

Więcej

Advertisment

Podobne

Advertisment

Najnowsze

Uzyskaj ograniczoną czasowo zniżkę na ten wielourządzeniowy power bank za 199,99 USD

Grafenowy power bank Flash Pro Plus potrafi po trochu wszystkiego. Ma akumulator o pojemności 25 000 mAh, porty USB-C i USB-A, bezprzewodowe...

Próbkowanie Kioxia Najnowsza generacja UFS Ver. Wbudowane urządzenia pamięci Flash 4.0

Kioxia Corporation, światowy lider w dziedzinie rozwiązań pamięciowych, ogłosiła dzisiaj, że rozpoczęła próbkowanie najnowszej generacji pamięci Universal Flash Storage (UFS) wer. Urządzenia...

Czy Trubbish może być błyszczący w Pokémon Go?

Trubbish, Pokémon w worku na śmieci z Unovy, można znaleźć na wolności w Pokemon Go. Tak, Trubbish może się błyszczeć...
Advertisment