Technologie te są obsługiwane przez NVIDIA RTX AI Toolkit, nowy zestaw narzędzi i zestawów programistycznych, które pomagają programistom w optymalizacji i wdrażaniu dużych generatywnych modeli sztucznej inteligencji na komputerach PC z systemem Windows. Dołączają do kompleksowych innowacji NVIDIA RTX AI, przyspieszających działanie ponad 500 aplikacji i gier na komputery PC oraz 200 projektów laptopów od producentów. Ponadto nowo zaprezentowane laptopy PC RTX AI firmy ASUS i MSI są wyposażone w procesory graficzne GeForce RTX 4070 i energooszczędne systemy na chipie z funkcjami komputerów PC z systemem Windows 11 AI. Te komputery AI z systemem Windows 11 otrzymają bezpłatną aktualizację funkcji Copilot+ PC, gdy będzie ona dostępna.
„NVIDIA zapoczątkowała erę komputerów PC ze sztuczną inteligencją w 2018 roku wraz z wprowadzeniem na rynek procesorów graficznych RTX Tensor Core i NVIDIA DLSS” – powiedział Jason Paul, wiceprezes ds. sztucznej inteligencji dla konsumentów w firmie NVIDIA. „Teraz dzięki Project G-Assist i NVIDIA ACE odblokowujemy nową generację wrażeń opartych na sztucznej inteligencji dla ponad 100 milionów użytkowników komputerów PC z RTX AI”.
Project G-Assist, asystent AI GeForce
Asystenci AI mają na celu przekształcenie doświadczeń w grach i aplikacjach — od oferowania strategii gier i analizowania powtórek w trybie wieloosobowym po pomoc w złożonych procesach twórczych. Projekt G-Assist to spojrzenie w tę przyszłość.
Gry na PC oferują rozległe wszechświaty do eksploracji i skomplikowane mechaniki do opanowania, co stanowi wyzwanie i zajmuje dużo czasu nawet dla najbardziej oddanych graczy. Projekt G-Assist ma na celu udostępnienie graczom wiedzy o grach za pomocą generatywnej sztucznej inteligencji.
Project G-Assist pobiera od gracza dane głosowe lub tekstowe wraz z informacjami kontekstowymi z ekranu gry i przetwarza dane za pomocą modeli wizyjnych AI. Modele te zwiększają świadomość kontekstową i specyficzne dla aplikacji zrozumienie dużego modelu językowego (LLM) powiązanego z bazą danych wiedzy o grach, a następnie generują dostosowaną odpowiedź dostarczaną w postaci tekstu lub mowy.
NVIDIA nawiązała współpracę ze Studio Wildcard, aby zademonstrować technologię w ARK: Survival Ascended. Project G-Assist może pomóc odpowiedzieć na pytania dotyczące stworzeń, przedmiotów, wiedzy, celów, trudnych bossów i nie tylko. Ponieważ Project G-Assist jest kontekstowy, personalizuje swoje reakcje w zależności od sesji gry gracza.
Ponadto Project G-Assist może skonfigurować system gry gracza pod kątem optymalnej wydajności i wydajności. Może zapewnić wgląd w wskaźniki wydajności, zoptymalizować ustawienia graficzne w zależności od sprzętu użytkownika, zastosować bezpieczne podkręcanie, a nawet inteligentnie zmniejszyć zużycie energii przy zachowaniu docelowej wydajności.
Pierwsze debiuty ACE PC NIM
Technologia NVIDIA ACE do zasilania cyfrowych ludzi jest teraz dostępna na komputerach stacjonarnych i stacjach roboczych RTX AI wraz z NVIDIA NIM — mikrousługami wnioskowania, które umożliwiają programistom skrócenie czasu wdrażania z tygodni do minut. Mikrousługi ACE NIM zapewniają wysokiej jakości wnioskowanie działające lokalnie na urządzeniach w celu rozumienia języka naturalnego, syntezy mowy, animacji twarzy i nie tylko.
Na targach COMPUTEX debiut NVIDIA ACE NIM na PC zostanie zaprezentowany w wersji demonstracyjnej technologii Covert Protocol, opracowanej we współpracy z Inworld AI. Obecnie prezentuje automatyczne rozpoznawanie mowy NVIDIA Audio2Face i NVIDIA Riva działające lokalnie na urządzeniach.
Środowisko wykonawcze Windows Copilot umożliwiające dodanie akceleracji GPU dla lokalnych komputerów SLM
Microsoft i NVIDIA współpracują, aby pomóc programistom we wprowadzaniu nowych, generatywnych możliwości sztucznej inteligencji do aplikacji natywnych i internetowych dla systemu Windows. Ta współpraca zapewni twórcom aplikacji łatwy dostęp do interfejsu programowania aplikacji (API) do akcelerowanych przez GPU modeli małych języków (SLM), które umożliwiają generowanie wspomagane pobieraniem (RAG) działające na urządzeniu w ramach środowiska wykonawczego Windows Copilot.
SLM zapewniają programistom Windows ogromne możliwości, w tym podsumowywanie treści, generowanie treści i automatyzację zadań. Możliwości RAG wzmacniają SLM, zapewniając modelom AI dostęp do informacji specyficznych dla domeny, które nie są dobrze reprezentowane w „modelach podstawowych”. Interfejsy API RAG umożliwiają programistom wykorzystanie źródeł danych specyficznych dla aplikacji oraz dostrojenie zachowania i możliwości SLM do potrzeb aplikacji.
Te możliwości sztucznej inteligencji będą przyspieszane przez procesory graficzne NVIDIA RTX, a także akceleratory sztucznej inteligencji innych dostawców sprzętu, zapewniając użytkownikom końcowym szybkie i responsywne doświadczenia sztucznej inteligencji w całym ekosystemie Windows.
Interfejs API zostanie udostępniony w wersji deweloperskiej jeszcze w tym roku.
4x szybsze, 3x mniejsze modele dzięki zestawowi narzędzi RTX AI
Ekosystem sztucznej inteligencji stworzył setki tysięcy modeli typu open source, z których mogą korzystać twórcy aplikacji, ale większość modeli jest wstępnie przeszkolona do celów ogólnych i zbudowana tak, aby działała w centrum danych.
Aby pomóc programistom w tworzeniu modeli sztucznej inteligencji dostosowanych do konkretnych aplikacji, które działają na komputerach PC, NVIDIA wprowadza RTX AI Toolkit — zestaw narzędzi i pakietów SDK do dostosowywania, optymalizacji i wdrażania modeli na komputerach PC RTX AI. Zestaw narzędzi RTX AI Toolkit będzie dostępny jeszcze w tym miesiącu, aby zapewnić szerszy dostęp programistom.
Deweloperzy mogą dostosować wstępnie wytrenowany model za pomocą narzędzi QLoRa typu open source. Następnie mogą użyć optymalizatora modelu NVIDIA TensorRT do kwantyzacji modeli tak, aby zużywały nawet 3 razy mniej pamięci RAM. Chmura NVIDIA TensorRT optymalizuje następnie model pod kątem maksymalnej wydajności w całej gamie procesorów graficznych RTX. Rezultatem jest do 4x większa wydajność w porównaniu z modelem wstępnie wytrenowanym.
Nowy pakiet SDK NVIDIA AI Inference Manager, dostępny teraz we wczesnym dostępie, upraszcza wdrażanie ACE na komputerach PC. Wstępnie konfiguruje komputer PC z niezbędnymi modelami, silnikami i zależnościami AI, jednocześnie płynnie koordynując wnioskowanie AI na komputerach PC i w chmurze.
Partnerzy oprogramowania, tacy jak Adobe, Blackmagic Design i Topaz, integrują komponenty RTX AI Toolkit ze swoimi popularnymi aplikacjami kreatywnymi, aby przyspieszyć wydajność sztucznej inteligencji na komputerach RTX.
„Adobe i NVIDIA w dalszym ciągu współpracują, aby zapewnić klientom przełomowe doświadczenia we wszystkich kreatywnych procesach, od wideo po obrazowanie, projektowanie, 3D i nie tylko” – powiedziała Deepa Subramaniam, wiceprezes ds. marketingu produktów w Creative Cloud w Adobe. „TensorRT 10.0 na komputerach PC z procesorem RTX zapewnia twórcom, projektantom i programistom niespotykaną dotąd wydajność i możliwości oparte na sztucznej inteligencji, odblokowując nowe kreatywne możliwości tworzenia treści w wiodących w branży narzędziach kreatywnych, takich jak Photoshop”.
Komponenty RTX AI Toolkit, takie jak TensorRT-LLM, są zintegrowane z popularnymi platformami programistycznymi i aplikacjami dla generatywnej sztucznej inteligencji, w tym Automatic1111, ComfyUI, Jan.AI, LangChain, LlamaIndex, Oobabooga i Sanctum.AI.
Sztuczna inteligencja do tworzenia treści
NVIDIA integruje także akcelerację RTX AI z aplikacjami dla twórców, modderów i entuzjastów wideo.
W zeszłym roku NVIDIA wprowadziła akcelerację RTX przy użyciu TensorRT dla jednego z najpopularniejszych interfejsów użytkownika Stable Diffusion, Automatic1111. Od tego tygodnia RTX przyspieszy także bardzo popularny ComfyUI, zapewniając nawet o 60% poprawę wydajności w porównaniu z obecnie dostępną wersją i 7 razy większą wydajność w porównaniu z MacBookiem Pro M3 Max.
NVIDIA RTX Remix to platforma moderska do remasteringu klasycznych gier DirectX 8 i DirectX 9 z pełnym śledzeniem promieni, NVIDIA DLSS 3.5 i fizycznie dokładnymi materiałami. RTX Remix zawiera moduł renderujący w czasie wykonywania oraz aplikację RTX Remix Toolkit, która ułatwia modyfikowanie zasobów i materiałów gry.
W zeszłym roku NVIDIA udostępniła RTX Remix Runtime na licencji open source, umożliwiając modderom zwiększanie kompatybilności gier i zaawansowanych możliwości renderowania.
Od czasu premiery RTX Remix Toolkit na początku tego roku 20 000 modderów użyło go do modyfikowania klasycznych gier, co zaowocowało powstaniem ponad 100 remasterów RTX na platformie RTX Remix Showcase Discord.
W tym miesiącu NVIDIA udostępni zestaw narzędzi RTX Remix Toolkit w wersji open source, umożliwiając modderom usprawnienie wymiany zasobów i ponownego podświetlania scen, zwiększenie obsługiwanych formatów plików dla narzędzia do pozyskiwania zasobów RTX Remix i wzmocnienie narzędzi AI tekstur RTX Remix o nowe modele.
Ponadto NVIDIA udostępnia możliwości zestawu RTX Remix Toolkit za pośrednictwem interfejsu API REST, umożliwiając modderom łączenie RTX Remix na żywo z narzędziami do tworzenia treści cyfrowych, takimi jak Blender, narzędziami do modowania, takimi jak Hammer, i aplikacjami generatywnymi AI, takimi jak ComfyUI. NVIDIA udostępnia także SDK dla RTX Remix Runtime, aby umożliwić modderom wdrażanie modułu renderującego RTX Remix w innych aplikacjach i grach wykraczających poza klasyki DirectX 8 i 9.
Dzięki temu, że coraz więcej platform RTX Remix jest udostępnianych na zasadach open source, modderzy na całym świecie mogą tworzyć jeszcze bardziej oszałamiające remastery RTX.
NVIDIA RTX Video, popularna funkcja superrozdzielczości oparta na sztucznej inteligencji, obsługiwana w przeglądarkach Google Chrome, Microsoft Edge i Mozilla Firefox, jest teraz dostępna jako pakiet SDK dla wszystkich programistów, pomagając im natywnie zintegrować sztuczną inteligencję w celu zwiększania skalowania, wyostrzania, redukcji artefaktów kompresji i konwersja wysokiego zakresu dynamiki (HDR).
Już wkrótce w oprogramowaniu do edycji wideo DaVinci Resolve i Wondershare Filmora firmy Blackmagic Design, RTX Video umożliwi edytorom wideo skalowanie plików wideo o niższej jakości do rozdzielczości 4K, a także konwertowanie plików źródłowych o standardowym zakresie dynamiki do formatu HDR. Ponadto darmowy odtwarzacz multimedialny VLC media wkrótce doda RTX Video HDR do istniejących możliwości superrozdzielczości.