65 TB na godzinę, z dowolnego miejsca na ziemi do dowolnego miejsca, niezależnie od jakości połączenia między nimi. Taką prędkość transferu osiąga rozwiązanie współdzielonej pamięci masowej firmy Arcitecta, które działa na całym obszarze magazyn w chmurze i lokalizacjach na miejscu.
Tak jak Hammerspace, Nasuni, Panzura i Cterarozwiązanie Arcitecta Mediaflux umożliwia udostępnianie plików w wielu lokalizacjach na całym świecie, umożliwiając pracownikom przeglądanie plików w pamięci masowej podłączonej do sieci lokalnej (NAS) i chmurze publicznej utworzonej przez współpracowników w innym miejscu.
„W przeciwieństwie do innych nie jesteśmy firmą zajmującą się magazynowaniem” – powiedział Graham Beasley, dyrektor operacyjny w Arcitecta, francuskiej siostrzanej witrynie Computer Weekly LeMagIT podczas niedawnego Wycieczka prasowa IT wydarzenie.
„Naszą specjalnością są bazy danych. Nasz system bazodanowy sprzedajemy przedsiębiorstwom posiadającym macierze firm NetApp, IBM Spectrum Scale, Dell Isilon lub innych, aby umożliwić im zarządzanie dokumentami w formacie pliku lub obiektu w ich witrynach. Udostępniamy dane w dowolnym miejscu i czasie, za pośrednictwem modułu Livewire na platformie Mediaflux” – dodał.
„Często mówi się, że prędkości transferu, które uzyskujemy, są teoretycznie niemożliwe” – powiedział Jason Lohrey, dyrektor generalny i założyciel Arcitecta. „Naszym sekretem jest to, że nie chodzi tylko o prędkość. Rozwiązujemy problem z połączeniem. Aby to osiągnąć, należy zarządzać danymi. Trzeba przenosić właściwe dane we właściwym czasie.”
Rozwiązanie zapewniające szybkość: baza danych XODB
„Pracujemy z milionami formatów plików” – powiedział Lohrey. „Dzięki temu możemy indeksować biliony fragmentów danych naszą bazę danych metadanych. Jeden zapis w naszej bazie danych odpowiada około 1 KB na indeksowany plik. Stamtąd jest to synchronizowane we wszystkich witrynach korporacyjnych, a każdy plik można znaleźć gdziekolwiek indziej.
Graham Beasley, Arcitecta
„Kiedy masz jeden, 10 czy 100 milionów plików współdzielonych pomiędzy oddziałami międzynarodowej firmy, nasza wyszukiwarka jest w stanie je znaleźć i pokazać Ci w ciągu kilkudziesięciu milisekund, co w konkurencyjnym produkcie zajęłoby godziny” – dodał.
Według Lohreya geniusz produktu polega na sposobie fragmentacji plików. Fragmenty plików są przenoszone z jednej lokalizacji do drugiej równoległymi kanałami, niekoniecznie w porządku chronologicznym lub zgodnie z przewidywaniem.
„Celem jest przeniesienie minimalnej ilości danych w momencie, gdy użytkownik chce otworzyć dokument” – powiedział Lohrey. „Od chwili, gdy plik zostanie pobrany do tablicy, odwołujemy się do niego i kopiujemy jego bloki do lokalizacji, w których według naszych danych będzie on używany.
„Jeśli zaktualizujesz plik o rozmiarze 70 TB, nie będziemy musieli ponownie skanować wszystkich metadanych” – powiedział Lohrey. „Nasz system po prostu aktualizuje go z poprzedniej wersji pliku w mgnieniu oka.”
Lohrey pragnie podkreślić funkcjonalność swojej bazy danych, która zarządza współrzędnymi czasowymi i przestrzennymi każdego dokumentu. Znana jako XODB, jest binarną bazą danych obiektów XML wbudowaną w Mediaflux, która zarządza wektorami między plikami, aby umożliwić zrozumienie, które mogą wymagać replikacji do innych lokalizacji w oparciu o poprzednią aktywność.
„Jeśli ten system działa wydajnie, dzieje się tak dlatego, że nie tylko napisaliśmy jego bazę danych, ale także przepisaliśmy od podstaw nasze protokoły udostępniania NFS, SMB i S3, aby lepiej wyrażały informacje dostępne w XODB” – powiedział Lohrey. „Ma to kilka zalet, w tym możliwość zarządzania wirtualnymi hierarchiami odpowiadającymi wyszukiwaniu”.
W najnowszej wersji Livewire uwzględnia dostępną przepustowość łączy sieciowych i kompresuje na bieżąco różnymi metodami przed przeniesieniem do innej witryny. Zoptymalizowano także sposób ponownego wysyłania utraconych pakietów podczas komunikacji TCP/IP.
Interfejs, który sam opracujesz
Mediaflux nie jest dostarczany z konsolą do wyszukiwania plików. W jego miejsce Arcitecta dostarcza zestaw umożliwiający opracowanie interfejsu najlepiej dostosowanego do klienta.
„Możliwość wykorzystania danych często wiąże się z ich wizualizacją i wykorzystaniem” – powiedział Beasley. „Nie jest możliwe stworzenie ogólnego interfejsu, który wiedziałby, jak zarządzać wszystkimi typami danych. Dlatego opracowaliśmy framework, który pozwala użytkownikom bardzo szybko stworzyć najlepszy interfejs dla swoich potrzeb. Jeśli ma to zastosowanie, możemy napisać taki interfejs, jeśli klient sobie tego życzy. Niedawno opracowaliśmy interfejs dla muzeum w zaledwie cztery dni.”
Oprócz wyszukiwania plików interfejs zarządzania pozwala na zdefiniowanie reguł rozmieszczenia danych. Są to ręcznie ustawiane reguły, które pomagają firmie Mediaflux przewidzieć rozmieszczenie plików i sprawić wrażenie, że zostały szybko przeniesione z drugiego końca świata, gdy użytkownik próbuje uzyskać do nich dostęp.
W planie działania Mediaflux Arcitecta podkreśla zwiększoną gęstość metadanych i możliwość przyjmowania treści do generatywna sztuczna inteligencja (GenAI) za pomocą funkcja generowania rozszerzonego wyszukiwania (RAG).. To drugie wymaga, aby dane były w formacie wektorowym, który pasuje do XODB, ponieważ ma już taką strukturę.