Intel optymalizuje PyTorch dla Llama 2 dla procesora graficznego Arc A770, wykorzystuje wyższą precyzję FP16


Firma Intel właśnie ogłosiła optymalizacje dla PyTorch (IPEX), aby wykorzystać funkcje akceleracji AI swoich procesorów graficznych Arc „Alchemist”. PyTorch to popularna biblioteka uczenia maszynowego, która często jest kojarzona z procesorami graficznymi NVIDIA, ale w rzeczywistości jest niezależna od platformy. Można go uruchomić na różnych urządzeniach, w tym na procesorach i kartach graficznych. Jednak wydajność może nie być optymalna bez określonych optymalizacji. Firma Intel oferuje takie optymalizacje za pośrednictwem rozszerzenia Intel Extension for PyTorch (IPEX), które rozszerza PyTorch o optymalizacje zaprojektowane specjalnie dla sprzętu obliczeniowego Intel.

Firma Intel opublikowała post na blogu szczegółowo opisujący sposób uruchomienia dużego modelu językowego Llama 2 Meta AI na karcie graficznej Arc „Alchemist” A770. Model wymaga 14 GB pamięci RAM GPU, dlatego rekomendowana jest wersja A770 z 16 GB. Rozwój ten można postrzegać jako bezpośrednią reakcję na narzędzie NVIDIA Chat with RTX, które umożliwia użytkownikom GeForce wyposażonym w procesory graficzne RTX z serii 30 „Ampere” i RTX 40 z serii „Ada” o pojemności > 8 GB na uruchamianie modeli PyTorch-LLM na swoich kartach graficznych . NVIDIA osiąga mniejsze zużycie pamięci VRAM poprzez dystrybucję wersji modeli skwantowanych na poziomie INT4, podczas gdy Intel wykorzystuje bardziej precyzyjną wersję FP16. Teoretycznie nie powinno to mieć większego wpływu na wyniki. Ten wpis na blogu firmy Intel zawiera instrukcje dotyczące konfigurowania wnioskowania Llama 2 za pomocą PyTorch (IPEX) na A770.



Source link

Advertisment

Więcej

Advertisment

Podobne

Advertisment

Najnowsze

Nastolatka oskarżona o podpalenie autonomicznej taksówki Waymo

Dochodzenie zostało przeprowadzone przez grupę zadaniową SFPD ds. podpaleń, która zidentyfikowała podejrzanego i ustaliła prawdopodobną przyczynę wydania nakazu przeszukania. Biuro prokuratora okręgowego...

Chcesz zrobić więcej dzięki AirPods Pro 2? Wypróbuj tych 5 funkcji

Wraz z wprowadzeniem na rynek Apple wprowadziło solidną aktualizację swoich najlepszych bezprzewodowych słuchawek dousznych AirPods Pro 2. Od tego czasu Apple podniosło...

TSMC wprowadzi premię lokalizacyjną dla zagranicznej produkcji chipów

Jako część Dyskusja telefoniczna dotycząca wyników za pierwszy kwartał, jeden z największych producentów półprzewodników, TSMC, ogłosił strategiczne posunięcie polegające na pobieraniu dodatkowej opłaty...
Advertisment