Nvidia wypuszcza wczesną wersję dzisiaj aplikacja demonstracyjna, która pozwala uruchomić osobistego chatbota AI na komputerze. Możesz zasilać go filmami z YouTube i własnymi dokumentami, aby tworzyć podsumowania i uzyskiwać trafne odpowiedzi na podstawie własnych danych. Wszystko działa lokalnie na komputerze PC, a wszystko, czego potrzebujesz, to karta graficzna RTX z serii 30 lub 40 z co najmniej 8 GB pamięci VRAM.
W ciągu ostatniego dnia krótko testowałem Chat with RTX i chociaż aplikacja jest nieco niedopracowana, już widzę, że jest to cenna część badania danych dla dziennikarzy lub każdego, kto potrzebuje przeanalizować zbiór danych dokumenty.
Czat z RTX może obsługiwać filmy z YouTube, wystarczy wpisać adres URL i umożliwia wyszukiwanie transkrypcji konkretnych wzmianek lub podsumowanie całego filmu. Uważam, że jest to idealne rozwiązanie do przeszukiwania podcastów wideo, zwłaszcza do znajdowania konkretnych wzmianek w podcastach z ostatniego tygodnia wśród plotek o nowym rozwiązaniu Microsoftu Zmiana strategii Xbox.
Nie nadawał się jednak idealnie do wyszukiwania filmów na YouTube. Próbowałem przeszukać transkrypcję A Skraj Film z YouTube i Chat with RTX pobrały transkrypcję zupełnie innego filmu. Nie było to nawet pytanie, o które wcześniej pytałem, więc w tej wczesnej wersji demonstracyjnej wyraźnie występują błędy.
Gdy wszystko działało prawidłowo, w ciągu kilku sekund mogłem znaleźć odniesienia w filmach. Stworzyłem także zbiór danych FTC przeciwko Microsoftowi dokumenty do analizy na czacie z RTX. Kiedy w zeszłym roku zajmowałem się sprawą sądową, szybkie przeszukiwanie dokumentów było często przytłaczające, ale aplikacja Chat with RTX pomogła mi niemal natychmiastowo przeszukać je na komputerze.
Na przykład chatbot wykonał dobrą robotę, podsumowując całą strategię Microsoftu w ramach Xbox Game Pass na podstawie wewnętrznych dokumentów ujawnionych podczas procesu:
Na podstawie podanych informacji kontekstowych Xbox Game Pass to usługa subskrypcji zawartości w grach, która zapewnia dostęp do biblioteki gier za jedną miesięczną opłatą. Jest pomyślana jako platforma, która umożliwi graczom granie w swoje gry w dowolnym miejscu i umożliwi wydawcom dotarcie do graczy na całym świecie. Usługa jest obsługiwana przez Project xCloud i Xbox Series X i ma na celu stworzenie podatnego gruntu dla wydawców do zarabiania na swoich grach. Podstawowym celem strategicznym Gaming CSA jest zwiększenie skali subskrypcji Xbox Game Pass i uważa się, że na całym świecie istnieją znaczące możliwości w zakresie abonentów, z potencjałem 750 milionów abonentów. Usługa boryka się z trzema głównymi dynamikami treści, w tym potrzebą zróżnicowanej zawartości, rozszerzeniem poza konsole i ograniczoną podażą treści.
Uważam, że jest to również przydatne do skanowania plików PDF i sprawdzania danych. Własny system Copilot firmy Microsoft nie radzi sobie dobrze z plikami PDF w programie Word, ale czat Nvidii z RTX nie miał problemu z wyciągnięciem wszystkich kluczowych informacji. Odpowiedzi są również niemal natychmiastowe i nie występują żadne opóźnienia, które zwykle obserwujesz podczas korzystania z chatbotów ChatGPT lub Copilot opartych na chmurze.
Dużą wadą Chat with RTX jest to, że tak jest Naprawdę sprawia wrażenie wczesnej wersji demonstracyjnej. Chat with RTX zasadniczo instaluje serwer WWW i instancję Pythona na twoim komputerze, która następnie wykorzystuje modele Mistral lub Llama 2 do wysyłania zapytań do danych, które mu dostarczasz. Następnie wykorzystuje rdzenie Tensor firmy Nvidia na procesorze graficznym RTX, aby przyspieszyć zapytania.
Instalacja aplikacji Chat with RTX na moim komputerze wyposażonym w procesor Intel Core i9-14900K z kartą graficzną RTX 4090 zajęła około 30 minut. Aplikacja ma prawie 40 GB rozmiaru, a instancja Pythona zajmuje około 3 GB pamięci RAM z 64 GB dostępnych w moim systemie. Po uruchomieniu uzyskujesz dostęp do Chat with RTX z przeglądarki, podczas gdy w tle działa wiersz poleceń, wyświetlający przetwarzane informacje i wszelkie kody błędów.
Nvidia nie oferuje tej dopracowanej aplikacji, którą wszyscy właściciele RTX powinni natychmiast pobrać i zainstalować. Istnieje wiele znanych problemów i ograniczeń, w tym nie zawsze dokładne podanie źródła. Początkowo próbowałem także zmusić Chat with RTX do indeksowania 25 000 dokumentów, ale wydawało się, że powoduje to awarię aplikacji i musiałem wyczyścić preferencje, aby móc ponownie działać.
Czat z RTX również nie zapamiętuje kontekstu, zatem pytania uzupełniające nie mogą opierać się na kontekście poprzedniego pytania. Tworzy również pliki JSON w folderach, które chcesz zaindeksować, więc nie zalecałbym używania tego w całym folderze Dokumenty w systemie Windows.
Uwielbiam jednak dobre demo technologiczne, a Nvidia z pewnością je tutaj dostarczyła. Pokazuje obietnicę tego, co chatbot AI może w przyszłości zrobić lokalnie na Twoim komputerze, szczególnie jeśli nie chcesz subskrybować czegoś takiego Drugi pilot Pro Lub CzatGPT Plus tylko po to, aby przeanalizować Twoje osobiste pliki.