Najważniejsze informacje o stoisku: Poznaj ulepszony AiMX
W erze AI, wysokowydajne produkty pamięci są niezbędne do płynnego działania LLM. Jednak w miarę jak te LLM są trenowane na coraz większych zestawach danych i nadal się rozwijają, rośnie zapotrzebowanie na bardziej wydajne rozwiązania. SK hynix zaspokaja to zapotrzebowanie swoim produktem PIM AiMX, kartą akceleratora AI, która łączy wiele GDDR6-AiM, aby zapewnić wysoką przepustowość i wyjątkową energooszczędność. Na AI Hardware & Edge AI Summit 2024, SK hynix zaprezentował swój zaktualizowany prototyp 32 GB AiMX, który oferuje dwukrotnie większą pojemność niż oryginalna karta zaprezentowana na zeszłorocznym wydarzeniu. Aby podkreślić zaawansowane możliwości przetwarzania nowego AiMX w środowisku wielopartiowym, SK hynix przeprowadził demonstrację prototypowej karty z modelem Llama 3 70B, LLM z otwartym kodem źródłowym. W szczególności demonstracja podkreśliła zdolność AiMX do pełnienia funkcji wysoce skutecznego akceleratora uwagi w centrach danych.
AiMX rozwiązuje problemy związane z kosztami, wydajnością i zużyciem energii związane z LLM nie tylko w centrach danych, ale także w urządzeniach brzegowych i aplikacjach AI na urządzeniu. Na przykład, gdy jest stosowany w mobilnych aplikacjach AI na urządzeniu, AiMX zwiększa prędkość LLM trzykrotnie w porównaniu z mobilną pamięcią DRAM, utrzymując jednocześnie takie samo zużycie energii.
Prezentacja wyróżniona: Przyspieszanie usług LLM od centrów danych do urządzeń brzegowych
Ostatniego dnia szczytu firma SK hynix przedstawiła prezentację, w której szczegółowo opisała, w jaki sposób AiMX jest optymalnym rozwiązaniem do przyspieszania usług LLM w centrach danych i urządzeniach brzegowych. Euicheol Lim, pracownik naukowy i szef zespołu Solution Advanced Technology, podzielił się planami firmy dotyczącymi opracowywania produktów AiM dla sztucznej inteligencji na urządzeniach opartych na mobilnej pamięci DRAM i ujawnił wizję przyszłości dla AiM. Na zakończenie Lim podkreślił znaczenie ścisłej współpracy z firmami zaangażowanymi w opracowywanie i zarządzanie centrami danych i systemami brzegowymi w celu dalszego rozwoju produktów AiMX.
Spojrzenie w przyszłość: wizja SK hynix dla AiMX w erze sztucznej inteligencji
AI Hardware & Edge AI Summit 2024 zapewniło platformę dla SK hynix do zademonstrowania zastosowań AiMX w LLM w centrach danych i urządzeniach brzegowych. Jako rozwiązanie pamięci o niskim poborze mocy i dużej szybkości, zdolne do obsługi dużych ilości danych, AiMX ma odegrać kluczową rolę w rozwoju LLM i aplikacji AI.