Przetwarzanie sztucznej inteligencji (AI) opiera się na wykorzystaniu zwektoryzowanych danych. Innymi słowy, AI zamienia informacje ze świata rzeczywistego w dane, które można wykorzystać do uzyskania wglądu, wyszukać i zmanipulować.
Bazy danych wektorowe są w tym przypadku kluczowe, ponieważ w ten sposób dane utworzone przez modelowanie AI jest przechowywany i skąd jest dostępny podczas wnioskowania AI.
W tym artykule przyjrzymy się bazy danych wektorowych i jak dane wektorowe są wykorzystywane w AI i uczeniu maszynowym. Badamy dane o dużym wymiarze, osadzanie wektorów, wyzwania związane z przechowywaniem danych wektorowych i dostawców oferujących produkty baz danych wektorowych.
Czym są dane wielowymiarowe?
Dane wektorowe są podtypem tzw. danych o wysokim wymiarze. Są to dane – upraszczając znacznie – w których liczba cech lub wartości punktu danych znacznie przekracza liczbę zebranych próbek lub punktów danych.
Dane o niskim wymiarze – tj. niedużo wartości dla każdego punktu danych – były historycznie bardziej powszechne. Dane o wysokim wymiarze pojawiają się, gdy staje się możliwe przechwytywanie dużych ilości informacji. Współczesna sztuczna inteligencja, która przetwarza mowę lub obrazy z wieloma możliwymi atrybutami, kontekstami itp., stanowi dobry przykład.
Czym są wektory?
Wektory stanowią jeden z wielu typów danych, w których do ilości odwołują się pojedyncze lub bardziej złożone układy liczb.
Zatem w matematyce skalar jest pojedynczą liczbą, taką jak 5 lub 0,5, podczas gdy wektor jest jednowymiarową tablicą liczb, taką jak [0.5, 5]Następnie macierz rozszerza to na dwa wymiary, takie jak:
[[0.5, 5],
[5, 0.5],
[0.5, 5]].
Wreszcie tensory rozszerzają tę koncepcję na trzy lub więcej wymiarów. Tensor 3D może reprezentować kolory w obrazie (na podstawie wartości dla czerwieni, zieleni i błękitu), podczas gdy tensor 4D może dodać wymiar czasu poprzez łączenie lub układanie tensorów 3D w przypadku użycia wideo.
Tensory dodają kolejne wymiary i są wielowymiarowymi tablicami liczb, które mogą reprezentować złożone dane. Dlatego nadają się do wykorzystania w ramach sztucznej inteligencji, uczenia maszynowego i głębokiego uczenia, takich jak TensorFlow i PyTorch.
Czym jest osadzanie wektorów?
W AI tensory służą do przechowywania i manipulowania danymi. Ramy oparte na tensorach zapewniają narzędzia do tworzenia tensorów i wykonywania na nich obliczeń.
Na przykład żądanie ChatGPT w języku naturalnym jest parsowane i przetwarzane pod kątem znaczenia słowa, kontekstu semantycznego itd., a następnie reprezentowane w wielowymiarowym formacie tensora. Innymi słowy, rzeczywisty temat jest konwertowany na coś, na czym można przeprowadzać operacje matematyczne. Nazywa się to osadzaniem wektorowym.
Aby uzyskać odpowiedzi na zapytanie, numeryczny (choć złożony) wynik parsowania i przetwarzania można porównać z opartymi na tensorach reprezentacjami istniejących – tj. już osadzonych w wektorach danych – i dostarczyć odpowiedź. Możesz przenieść tę podstawową koncepcję – pobierać i reprezentować; porównywać i odpowiadać – na dowolny przypadek użycia AI, taki jak obrazy lub zachowanie kupującego.
Czym jest baza danych wektorowa?
Bazy danych wektorowych przechowują wielowymiarowe dane wektorowe. Punkty danych są przechowywane w klastrach na podstawie podobieństwa.
Bazy danych wektorowych zapewnić rodzaj prędkości i wydajności potrzebnej do generatywnych przypadków użycia AI. Gartner powiedział, że do 2026 r. ponad 30% przedsiębiorstw wdroży bazy danych wektorowych w celu budowania modeli fundamentowych z odpowiednimi danymi biznesowymi.
Podczas gdy tradycyjne relacyjne bazy danych są zbudowane na wierszach i kolumnach, punkty danych w bazie danych wektorowej przyjmują formę wektorów w wielu wymiarach. Tradycyjne bazy danych są klasycznym przejawem ustrukturyzowanych danych. Każda kolumna reprezentuje zmienną, a każdy wiersz jest wartością tej zmiennej.
Tymczasem bazy danych wektorowych mogą obsługiwać wartości na wartościach, które istnieją wzdłuż wielu kontinuów reprezentowanych przez wektory. Tak więc nie muszą trzymać się wstępnie ustawionych zmiennych, ale mogą reprezentować rodzaj cech, które można znaleźć w tym, co uważamy za niestrukturyzowane dane – na przykład odcienie kolorów, układ pikseli w obrazie i to, co mogą one reprezentować, gdy są interpretowane jako całość.
Nie jest niemożliwe przekształcenie niestrukturalnych źródeł danych w tradycyjną relacyjną bazę danych, aby przygotować ją na potrzeby sztucznej inteligencji, ale nie jest to sprawa trywialna.
Różnica jest widoczna w wyszukiwaniu w tradycyjnych bazach danych i bazach wektorowych. W bazie danych SQL wyszukujesz jawne, określone wartości, takie jak słowa kluczowe lub wartości liczbowe i polegasz na dokładnych dopasowaniach, aby uzyskać pożądane wyniki.
Wyszukiwanie wektorowe przedstawia dane w mniej precyzyjny sposób. Może nie być dokładnego dopasowania, ale jeśli zostanie skutecznie wymodelowane, zwróci wyniki odnoszące się do poszukiwanej rzeczy i może wynikać z ukrytych wzorców i relacji, których tradycyjna baza danych nie byłaby w stanie wywnioskować.
Jakie są wyzwania związane z przechowywaniem danych w bazach wektorowych?
Modelowanie sztucznej inteligencji obejmuje pisanie osadzenia wektorowe do wektorowej bazy danych dla bardzo dużych ilości często niematematycznych danych, takich jak słowa, dźwięki lub obrazy. Następnie wnioskowanie AI porównuje osadzone w wektorach dane przy użyciu modelu i nowo dostarczonych zapytań.
Odbywa się to za pomocą procesorów o bardzo wysokiej wydajności, zwłaszcza procesorów graficznych (GPU), które odciążają procesory serwerów od przetwarzania bardzo dużej liczby zadań.
Bazy danych wektorowe mogą podlegać ekstremalnym wymaganiom wejścia/wyjścia, zwłaszcza podczas modelowania, i muszą mieć możliwość skalowania na dużą skalę oraz potencjalnie umożliwiać przenoszenie danych między lokalizacjami, aby umożliwić najbardziej wydajne przetwarzanie.
Bazy danych wektorowych można indeksować w celu przyspieszenia wyszukiwań, a także mierzyć odległość między wektorami, aby dostarczać wyniki na podstawie podobieństwa.
Ułatwia to realizację zadań, takich jak systemy rekomendacji, wyszukiwanie semantyczne, rozpoznawanie obrazów i przetwarzanie języka naturalnego.
Kto dostarcza bazy danych wektorowych?
Produkty baz danych o zamkniętym kodzie źródłowym i otwartym obejmują produkty firm DataStax, Elastic, Milvus, Pinecone, Singlestore i Weaviate.
Dostępne są również rozszerzenia baz danych wektorowych i przeszukiwania baz danych dla istniejących baz danych, takie jak pgvector firmy PostgreSQL o otwartym kodzie źródłowym, możliwość wyszukiwania wektorów w Apache Cassandra oraz obsługa baz danych wektorowych w Redis.
Istnieją również platformy ze zintegrowanymi możliwościami baz danych wektorowych, np. IBM watsonx.data.
Tymczasem dostawcy chmury hiperskalerowej – AWSGoogle Cloud i Microsoft Azure – zapewniają bazy danych wektorowych i wyszukiwanie w ramach własnych ofert, jak również od stron trzecich za pośrednictwem swoich rynków.