Firma Arkivum z siedzibą w Wielkiej Brytanii, zajmująca się archiwizacją cyfrową, jest jednym z trzech dostawców wybranych do drugiego etapu prototypowania o wartości 4,8 mln EUR w ramach europejskiego przedsiębiorstwa międzynarodowego Archiwizator projekt, którego celem jest zapewnienie skali petabajtów archiwizacja danych i zachowanie dla swoich partnerów naukowych.
Projekt jest prowadzony przez CERN – siedziba Wielkiego Zderzacza Hadronów niedaleko Genewy – a także obejmuje DESY (Niemiecki synchrotron elektronów), EMBL-EBI (Europejski Instytut Bioinformatyki) i PIC (Port Informacji Naukowej).
Projekt Archiver ma na celu zapewnienie pamięci masowej w skali petabajtów dla szerokiej gamy badań i analityczne przypadki użycia dla zaangażowanych partnerów naukowych – powiedział João Fernandes, kierownik projektu Archiver z działu IT CERN.
Skalowalność technologii ma wysoki priorytet, ponieważ oczekiwana ostateczna pojemność będzie wynosić dziesiątki petabajtów. W fazie prototypowej projektu system będzie pobierał dane z szybkością do 100 TB dziennie.
Ta druga faza jest warta 4,8 mln euro i potrwa osiem miesięcy. Archiver jest współfinansowany przez Unię Europejską Horyzont 2020 program badań i innowacji.
„Nie chodzi tylko o przechowywanie bitów, ale także o kontrolę danych, a więc zachowanie tego, co zostało zrobione z danymi wcześniej, kto był przez i przechowywał dokumentację i oprogramowanie” – powiedział Fernandes.
Te wymagania są podsumowane w zasadach FAIR – Findable, Accessible, Interoperable and Reusable – tak, aby w razie potrzeby eksperymenty mogły być odtwarzane i kontynuowane długo po ich ostatniej pracy.
Czas między eksperymentami może być długi, więc dane mają znaczną wartość długoterminową i muszą pozostać aktywne i dostępne w archiwum przez prawdopodobnie dekady po zakończeniu projektu badawczego. Obecnie bazy danych tworzone na zamówienie do obsługi złożonych i czasami wrażliwych zbiorów danych stanowią przeszkody dla naukowców w zakresie przesyłania i pobierania danych.
„Mamy około 10 głównych przypadków użycia” – powiedział Fernandes. „Niektóre dotyczą wyłącznie ochrony danych. Niektórzy chcą zachować drugą kopię, ale także odtworzyć analizę. Inne, takie jak te związane z pracą nad genomem, dotyczą danych, które rosną o 50% rocznie i trzeba będzie podjąć decyzje o tym, gdzie dane są przechowywane w pamięci podręcznej, aby umożliwić dostęp do nich. ”
Fernandes opisał również protokoły, które wymagałyby wsparcia, jako inne niż te opracowane przez same instytucje – takie jak CERN / Stanford xrootd – do szerszych standardowych metod branżowych, takich jak Magazyn obiektów S3.
Trzy projekty wybrane do drugiego etapu prototypowania to: Archiwum z zarządzaną warstwą magazynu jako usługi, która korzysta z Google Cloud Platform; Libnova, który Fernandes opisał jako „podobny do Arkivum”, ale korzystający z AWS i jest „bardziej zastrzeżony” pod względem używanego oprogramowania; oraz Onedata, który jest dostarczany przez Deutsche Telekom / T-Systems i jest oparty na oprogramowaniu open source.
Każdy z trzech projektów zostanie poddany ocenie w ograniczonych projektach prototypowych, zanim projekt przejdzie do następnej fazy i do skali wielu petabajtów w 2022 r.
Arkivum to spinout z Centrum Innowacji IT Uniwersytetu w Southampton. Pomyślnie zakończyła wstępną fazę projektowania trzyletniego projektu w październiku 2020 roku.