Niewiele zajęć jest tak trudnych jak projektowanie półprzewodników. Pod mikroskopem widać najnowocześniejszy chip, taki jak Procesor graficzny NVIDIA H100 Tensor Core (powyżej) wygląda jak dobrze zaplanowana metropolia, zbudowana z dziesiątek miliardów tranzystorów, połączonych ulicami 10 000 razy cieńszymi od ludzkiego włosa. Wiele zespołów inżynieryjnych koordynuje prace nad budową jednego z tych cyfrowych megamiast przez nawet dwa lata. Niektóre grupy określają ogólną architekturę chipa, inne tworzą i umieszczają różnorodne ultramałe obwody, a jeszcze inne testują swoje działanie. Każde zadanie wymaga specjalistycznych metod, programów i języków komputerowych.
Szeroka wizja dla LLM
„Wierzę, że z czasem duże modele językowe pomogą we wszystkich procesach” – powiedział Mark Ren, dyrektor ds. badań firmy NVIDIA i główny autor artykułu. Bill Dally, główny naukowiec firmy NVIDIA, ogłosił dzisiaj publikację w przemówieniu przewodnim podczas Międzynarodowej Konferencji na temat Projektowania Wspomaganego Komputerowo, corocznego zgromadzenia setek inżynierów pracujących w dziedzinie zwanej automatyzacją projektowania elektronicznego (EDA).
„Wysiłek ten stanowi ważny pierwszy krok w zastosowaniu LLM do złożonych prac związanych z projektowaniem półprzewodników” – powiedział Dally podczas wydarzenia w San Francisco. „Pokazuje, jak nawet wysoce wyspecjalizowane dziedziny mogą wykorzystywać swoje wewnętrzne dane do szkolenia przydatnych generatywnych modeli sztucznej inteligencji”.
Powierzchnie ChipNeMo
W artykule szczegółowo opisano, jak inżynierowie firmy NVIDIA stworzyli do użytku wewnętrznego niestandardowe narzędzie LLM o nazwie ChipNeMo, szkolone na wewnętrznych danych firmy w celu generowania i optymalizowania oprogramowania oraz wspomagania projektantów. W dłuższej perspektywie inżynierowie mają nadzieję zastosować generatywną sztuczną inteligencję na każdym etapie projektowania chipów, potencjalnie osiągając znaczny wzrost ogólnej produktywności, powiedział Ren, którego kariera trwa ponad 20 lat w EDA.
Po przeprowadzeniu ankiety z inżynierami NVIDIA pod kątem możliwych przypadków użycia, zespół badawczy wybrał trzy, aby rozpocząć: chatbota, generator kodu i narzędzie analityczne.
Początkowe przypadki użycia
To drugie – narzędzie automatyzujące czasochłonne zadania polegające na utrzymywaniu aktualnych opisów znanych błędów – spotkało się z jak dotąd największym zainteresowaniem. Prototypowy chatbot, który odpowiada na pytania dotyczące architektury i projektu procesora graficznego, pomógł wielu inżynierom szybko znaleźć dokumenty techniczne we wczesnych testach.
Generator kodu w fazie rozwoju (pokazany powyżej) już tworzy fragmenty około 10-20 linii oprogramowania w dwóch wyspecjalizowanych językach, których używają projektanci chipów. Zostanie zintegrowany z istniejącymi narzędziami, dzięki czemu inżynierowie będą mieli podręcznego asystenta przy prowadzonych projektach.
Dostosowywanie modeli AI za pomocą NVIDIA NeMo
W artykule skupiono się głównie na pracy zespołu zbierającego dane projektowe i wykorzystującego je do stworzenia wyspecjalizowanego generatywnego modelu sztucznej inteligencji, procesu, który można zastosować w dowolnej branży.
Jako punkt wyjścia zespół wybrał model fundamentu i dostosować go za pomocą NVIDIA NeMoplatformę do tworzenia, dostosowywania i wdrażania generatywnych modeli sztucznej inteligencji, która jest zawarta w pakiecie Przedsiębiorstwo oparte na sztucznej inteligencji NVIDIA platforma oprogramowania. Wybrany model NeMo ma 43 miliardy parametrów, co jest miarą jego zdolności do rozumienia wzorców. Został wyszkolony przy użyciu ponad biliona tokenów, słów i symboli w tekście i oprogramowaniu.
(Powyżej) ChipNeMo stanowi przykład tego, jak pewien zespół doświadczonych specjalistów udoskonalił wstępnie wytrenowany model przy użyciu własnych danych.
Następnie zespół udoskonalił model w dwóch rundach szkoleniowych: w pierwszej wykorzystano wewnętrzne dane projektowe o wartości około 24 miliardów tokenów, a w drugiej – około 130 000 przykładów rozmów i projektów. Praca ta stanowi jeden z kilku przykładów badań i dowodów koncepcji generatywnej sztucznej inteligencji w przemyśle półprzewodników, która dopiero zaczyna wyłaniać się z laboratorium.
Dzielenie się zdobytymi wnioskami
Jedną z najważniejszych lekcji, jaką wyciągnął zespół Rena, jest wartość dostosowywania LLM. W przypadku zadań związanych z projektowaniem chipów niestandardowe modele ChipNeMo z zaledwie 13 miliardami parametrów dorównują lub przewyższają wydajność nawet znacznie większych LLM ogólnego przeznaczenia, takich jak LLaMA2 z 70 miliardami parametrów. W niektórych przypadkach modele ChipNeMo były znacznie lepsze.
Dodał, że użytkownicy muszą przy tym zwracać uwagę na to, jakie dane gromadzą i w jaki sposób je oczyszczają, aby móc je wykorzystać w szkoleniach. Na koniec Ren radzi użytkownikom, aby byli na bieżąco z najnowszymi narzędziami, które mogą przyspieszyć i uprościć pracę.
Dział badań NVIDIA zatrudnia setki naukowców i inżynierów na całym świecie zajmujących się takimi tematami, jak sztuczna inteligencja, grafika komputerowa, wizja komputerowa, samochody autonomiczne i robotyka. Inne niedawne projekty dotyczące półprzewodników obejmują wykorzystanie sztucznej inteligencji do projektować mniejsze, szybsze obwody i do zoptymalizować rozmieszczenie dużych bloków.
Przedsiębiorstwa, które chcą zbudować własne, niestandardowe LLM, mogą zacząć już dziś korzystać Framework NeMo dostępne w GitHubie i katalogu NVIDIA NGC.
