Intel optymalizuje PyTorch dla Llama 2 dla procesora graficznego Arc A770, wykorzystuje wyższą precyzję FP16


Firma Intel właśnie ogłosiła optymalizacje dla PyTorch (IPEX), aby wykorzystać funkcje akceleracji AI swoich procesorów graficznych Arc „Alchemist”. PyTorch to popularna biblioteka uczenia maszynowego, która często jest kojarzona z procesorami graficznymi NVIDIA, ale w rzeczywistości jest niezależna od platformy. Można go uruchomić na różnych urządzeniach, w tym na procesorach i kartach graficznych. Jednak wydajność może nie być optymalna bez określonych optymalizacji. Firma Intel oferuje takie optymalizacje za pośrednictwem rozszerzenia Intel Extension for PyTorch (IPEX), które rozszerza PyTorch o optymalizacje zaprojektowane specjalnie dla sprzętu obliczeniowego Intel.

Firma Intel opublikowała post na blogu szczegółowo opisujący sposób uruchomienia dużego modelu językowego Llama 2 Meta AI na karcie graficznej Arc „Alchemist” A770. Model wymaga 14 GB pamięci RAM GPU, dlatego rekomendowana jest wersja A770 z 16 GB. Rozwój ten można postrzegać jako bezpośrednią reakcję na narzędzie NVIDIA Chat with RTX, które umożliwia użytkownikom GeForce wyposażonym w procesory graficzne RTX z serii 30 „Ampere” i RTX 40 z serii „Ada” o pojemności > 8 GB na uruchamianie modeli PyTorch-LLM na swoich kartach graficznych . NVIDIA osiąga mniejsze zużycie pamięci VRAM poprzez dystrybucję wersji modeli skwantowanych na poziomie INT4, podczas gdy Intel wykorzystuje bardziej precyzyjną wersję FP16. Teoretycznie nie powinno to mieć większego wpływu na wyniki. Ten wpis na blogu firmy Intel zawiera instrukcje dotyczące konfigurowania wnioskowania Llama 2 za pomocą PyTorch (IPEX) na A770.



Source link

Advertisment

Więcej

Advertisment

Podobne

Advertisment

Najnowsze

Żyjemy w czasie, wilka i każdy film nowy w streamingu

Każdego tygodnia na Polygon dopełniamy najbardziej znaczące nowe wydania strumieniowe i VOD, podkreślając największe i najlepsze nowe filmy, które można oglądać w domu.W...

Lista wszystkich zasobów w cywilizacji 7

. lista zasobów W Cywilizacja 7 Długie i technicznie kręte. Niektóre zasoby przychodzą i odchodzą w miarę upływu czasu, podczas gdy inne...

Riot Omów mniej bezpłatnych skór w nowej ligi legend DEV Diary

W piątek Riot Games opublikował film „zameldowanie” dotyczące bieżącego sezonu i problemów z monetyzacją League of Legends. Film rozpoczyna się od szefa studia...
Advertisment