Przez ostatnie kilka miesięcy pojawiło się wiele plotek i doniesień o planach Apple dotyczące wypuszczenia urządzeń do noszenia AI. ObecnieWygląda na to, że bezpośredni konkurenci Apple do meta Ray-Bans zostaną uruchomione około 2027 Airpods z kameramiktóry oferuje własny zestaw funkcji obsługujących AI.
Choć może być za wcześnie, aby wiedzieć, jak dokładnie będą wyglądać, Apple właśnie zaoferowało, jak może działać ich sztuczna inteligencja.
W 2023 r. Zespół badań nad uczeniem się maszynowym Apple wydał MLXjego własna otwarta ml ramy zaprojektowana specjalnie dla Apple Silicon.
Krótko mówiąc, MLX oferuje lekki sposób na szkolenie i uruchamianie modeli lokalnie na urządzeniach Apple, a jednocześnie pozostają znane programistom, którzy są przyzwyczajeni do ram i języków bardziej tradycyjnie związanych z programowaniem sztucznej inteligencji.
Nowy model wizualny Apple jest szybki
Teraz Apple wydało FastVlm: Model języka wizualnego (VLM), który wykorzystuje MLX, aby oferować prawie instancję przetwarzania obrazu o wysokiej rozdzielczości, jednocześnie wymagając znacznie mniej obliczeń niż podobne modele. Jak to ujął Apple:
Na podstawie kompleksowej analizy wydajności wzajemnej zależności między rozdzielczością obrazu, opóźnieniem widzenia, liczbą tokenów i wielkości LLM wprowadzamy FastVLM-model, który osiąga zoptymalizowany kompromis między opóźnieniem, wielkością modelu i dokładnością.
U podstaw fastVlm jest enkoder o nazwie Fastvithd. Ten enkoder został „specjalnie zaprojektowany do wydajności VLM na obrazach o wysokiej rozdzielczości”.
Jest do 3,2 razy szybszy i 3,6 razy mniejszy niż podobne modele. To wielka sprawa, jeśli chcesz, aby Twoje urządzenie przetwarzało informacje lokalnie, bez polegania na chmurze, aby wygenerować odpowiedź na temat tego, co użytkownik właśnie zapytał (lub patrzy).
Ponadto FastVLM został zaprojektowany w celu wyświetlania mniejszej liczby tokenów, co jest również kluczowe podczas wnioskowania, krok, gdy model interpretuje dane i generuje odpowiedź. Według Apple jego model ma 85 razy szybszy czas do pierwszego tokera niż podobne modele, co jest czasem, w którym użytkownik wysłał pierwszą monit i odzyskanie pierwszego tokena odpowiedzi. Mniej tokenów na szybszym i lżejszym modelu oznacza szybsze przetwarzanie.
FastVlm jest Dostępne w GitHubpodczas gdy raport można znaleźć na arxiv. Nie jest to łatwe odczyt, ale zdecydowanie warto sprawdzić, czy interesuje Cię bardziej techniczne aspekty projektów AI Apple.
FTC: Używamy dochodów z automatycznych linków partnerskich. Więcej.