Nvidia Chat with RTX to obiecujący chatbot AI, który działa lokalnie na Twoim komputerze


Nvidia wypuszcza wczesną wersję Porozmawiaj z RTX dzisiaj aplikacja demonstracyjna, która pozwala uruchomić osobistego chatbota AI na komputerze. Możesz zasilać go filmami z YouTube i własnymi dokumentami, aby tworzyć podsumowania i uzyskiwać trafne odpowiedzi na podstawie własnych danych. Wszystko działa lokalnie na komputerze PC, a wszystko, czego potrzebujesz, to karta graficzna RTX z serii 30 lub 40 z co najmniej 8 GB pamięci VRAM.

W ciągu ostatniego dnia krótko testowałem Chat with RTX i chociaż aplikacja jest nieco niedopracowana, już widzę, że jest to cenna część badania danych dla dziennikarzy lub każdego, kto potrzebuje przeanalizować zbiór danych dokumenty.

Czat z RTX może obsługiwać filmy z YouTube, wystarczy wpisać adres URL i umożliwia wyszukiwanie transkrypcji konkretnych wzmianek lub podsumowanie całego filmu. Uważam, że jest to idealne rozwiązanie do przeszukiwania podcastów wideo, zwłaszcza do znajdowania konkretnych wzmianek w podcastach z ostatniego tygodnia wśród plotek o nowym rozwiązaniu Microsoftu Zmiana strategii Xbox.

Nie nadawał się jednak idealnie do wyszukiwania filmów na YouTube. Próbowałem przeszukać transkrypcję A Skraj Film z YouTube i Chat with RTX pobrały transkrypcję zupełnie innego filmu. Nie było to nawet pytanie, o które wcześniej pytałem, więc w tej wczesnej wersji demonstracyjnej wyraźnie występują błędy.

Czat z RTX świetnie nadaje się do przeszukiwania lokalnych dokumentów.
Zrzut ekranu: Tom Warren / The Verge

Gdy wszystko działało prawidłowo, w ciągu kilku sekund mogłem znaleźć odniesienia w filmach. Stworzyłem także zbiór danych FTC przeciwko Microsoftowi dokumenty do analizy na czacie z RTX. Kiedy w zeszłym roku zajmowałem się sprawą sądową, szybkie przeszukiwanie dokumentów było często przytłaczające, ale aplikacja Chat with RTX pomogła mi niemal natychmiastowo przeszukać je na komputerze.

Reklama

Na przykład chatbot wykonał dobrą robotę, podsumowując całą strategię Microsoftu w ramach Xbox Game Pass na podstawie wewnętrznych dokumentów ujawnionych podczas procesu:

Na podstawie podanych informacji kontekstowych Xbox Game Pass to usługa subskrypcji zawartości w grach, która zapewnia dostęp do biblioteki gier za jedną miesięczną opłatą. Jest pomyślana jako platforma, która umożliwi graczom granie w swoje gry w dowolnym miejscu i umożliwi wydawcom dotarcie do graczy na całym świecie. Usługa jest obsługiwana przez Project xCloud i Xbox Series X i ma na celu stworzenie podatnego gruntu dla wydawców do zarabiania na swoich grach. Podstawowym celem strategicznym Gaming CSA jest zwiększenie skali subskrypcji Xbox Game Pass i uważa się, że na całym świecie istnieją znaczące możliwości w zakresie abonentów, z potencjałem 750 milionów abonentów. Usługa boryka się z trzema głównymi dynamikami treści, w tym potrzebą zróżnicowanej zawartości, rozszerzeniem poza konsole i ograniczoną podażą treści.

Uważam, że jest to również przydatne do skanowania plików PDF i sprawdzania danych. Własny system Copilot firmy Microsoft nie radzi sobie dobrze z plikami PDF w programie Word, ale czat Nvidii z RTX nie miał problemu z wyciągnięciem wszystkich kluczowych informacji. Odpowiedzi są również niemal natychmiastowe i nie występują żadne opóźnienia, które zwykle obserwujesz podczas korzystania z chatbotów ChatGPT lub Copilot opartych na chmurze.

Dużą wadą Chat with RTX jest to, że tak jest Naprawdę sprawia wrażenie wczesnej wersji demonstracyjnej. Chat with RTX zasadniczo instaluje serwer WWW i instancję Pythona na twoim komputerze, która następnie wykorzystuje modele Mistral lub Llama 2 do wysyłania zapytań do danych, które mu dostarczasz. Następnie wykorzystuje rdzenie Tensor firmy Nvidia na procesorze graficznym RTX, aby przyspieszyć zapytania.

Jednak rozmowa z RTX nie zawsze jest dokładna.
Zrzut ekranu: Tom Warren / The Verge

Instalacja aplikacji Chat with RTX na moim komputerze wyposażonym w procesor Intel Core i9-14900K z kartą graficzną RTX 4090 zajęła około 30 minut. Aplikacja ma prawie 40 GB rozmiaru, a instancja Pythona zajmuje około 3 GB pamięci RAM z 64 GB dostępnych w moim systemie. Po uruchomieniu uzyskujesz dostęp do Chat with RTX z przeglądarki, podczas gdy w tle działa wiersz poleceń, wyświetlający przetwarzane informacje i wszelkie kody błędów.

Nvidia nie oferuje tej dopracowanej aplikacji, którą wszyscy właściciele RTX powinni natychmiast pobrać i zainstalować. Istnieje wiele znanych problemów i ograniczeń, w tym nie zawsze dokładne podanie źródła. Początkowo próbowałem także zmusić Chat with RTX do indeksowania 25 000 dokumentów, ale wydawało się, że powoduje to awarię aplikacji i musiałem wyczyścić preferencje, aby móc ponownie działać.

Czat z RTX również nie zapamiętuje kontekstu, zatem pytania uzupełniające nie mogą opierać się na kontekście poprzedniego pytania. Tworzy również pliki JSON w folderach, które chcesz zaindeksować, więc nie zalecałbym używania tego w całym folderze Dokumenty w systemie Windows.

Uwielbiam jednak dobre demo technologiczne, a Nvidia z pewnością je tutaj dostarczyła. Pokazuje obietnicę tego, co chatbot AI może w przyszłości zrobić lokalnie na Twoim komputerze, szczególnie jeśli nie chcesz subskrybować czegoś takiego Drugi pilot Pro Lub CzatGPT Plus tylko po to, aby przeanalizować Twoje osobiste pliki.



Source link

Advertisment

Więcej

ZOSTAW ODPOWIEDŹ

Proszę wpisać swój komentarz!
Proszę podać swoje imię tutaj

Advertisment

Podobne

Advertisment

Najnowsze

Concept przewiduje, że Apple może wprowadzić nowe funkcje do systemu VisionOS 2

Chociaż Vision Pro pojawił się w sklepach zaledwie kilka tygodni temu, Apple ogłosiło nowe urządzenie w czerwcu ubiegłego roku na WWDC – i...

Vice porzuca Vice.com i zwalnia setki pracowników

Po niemal trzech dekadach Wice przestanie publikować artykuły na swojej stronie internetowej. Wiceprezes ds. mediów, Bruce Dixon, powiedział dzisiaj, że firma zamierza...

Nasze ulubione gry, ubrania i akcesoria dla fanów Elden Ring

Pierścień Eldena jest przez wielu uważana za najlepsze doświadczenie FromSoftware, z mroczną, średniowieczną scenerią i głęboką historią napisaną częściowo przez...
Advertisment