Przez setki lat każda organizacja, która musiała przechowywać informacje, polegała na jednej wypróbowanej i przetestowanej technologii: papierze. Ale od czasu pojawienia się komputerów i cyfrowego przechowywania danych coraz więcej danych jest przechwytywanych i przechowywanych w formie elektronicznej archiwa cyfrowe.
Ale teraz organizacje muszą dłużej przechowywać zarchiwizowane dane – ze względów biznesowych i regulacyjnych – czy technologia pamięci masowej może nadążyć?
Dzięki starannemu zarządzaniu, archiwa papierowe trwać przez dziesięciolecia, jeśli nie stulecia. Żaden system komputerowy nie jest starszy niż 80 lat, ale są branże, które stoją przed perspektywą archiwizacji danych przez 100 lat lub dłużej.
I z operacją żywotność standardowego dysku twardego w ciągu zaledwie trzech do pięciu lat działy IT muszą wiedzieć, jak przechowywać dane dla przyszłych pokoleń: tak zwane przechowywanie na czas nieokreślony.
Nie ma standardu branżowego dotyczącego przechowywania na czas nieokreślony, ponieważ bardzo zależy to od przypadku użycia. W praktyce „nieokreślony” nie musi oznaczać „na zawsze”. Oznacza to raczej przechowywanie danych bez określonego okresu przechowywania.
W praktyce jednak większość dyrektorów ds. informacji zinterpretowałaby to jako: poza żywotność standardowych technologii przechowywania. W niektórych branżach krytyczne dane muszą być przechowywane tylko przez kilka lat, ale w innych będą oznaczać oczekiwaną długość życia jednostki lub przewidywaną żywotność elementu wyposażenia z kilkuletnim marginesem.
Wyzwanie polega na tym, że niewiele elektronicznych nośników pamięci zaprojektowano tak, aby dane były bezpieczne i dostępne przez bardzo długi czas.
Przewidywana żywotność komponentów
Producenci określić oczekiwaną żywotność komponentów takich jak dyski twarde lub dyski SSD. Typowy „konsumencki” dysk twardy powinien działać od trzech do pięciu lat. Dyski klasy korporacyjnej mogą trwać nieco dłużej, być może siedem lat. Dyski SSD są teoretycznie trwalsze, a ich żywotność projektowana wynosi do 20 lat.
Jednak wiele będzie zależeć od sposobu wykorzystania nośnika pamięci. Dyski SSD zużyją się szybciej, jeśli aplikacja to zrobi dużo piszena przykład.
I, jak wyjaśnia Tony Lock z Freeform Dynamics, macierze pamięci masowej mogą teoretycznie działać wiecznie. Ponieważ dane są przechowywane dłużej, staje się to kwestią zarządzania sprzętem, monitorowania błędów i wymiany komponentów w miarę ich starzenia.
„Sprzęt ma żywotność” — mówi. „Gdy zestaw się starzeje, musisz zaakceptować, że będzie większa szansa na awarię. Jak ważne są dla Ciebie te informacje i jaki rodzaj ochrony danych dodajesz?”
Na miejscu systemy RAID są zaprojektowane tak, aby zapewnić dokładnie taką ochronę. A „hiperskalowalni” dostawcy chmury, którzy korzystają z dużych ilości taniego sprzętu, wymieniają nawet całe korytarze, a nawet całe centra danych, gdy sprzęt zbliża się do końca okresu eksploatacji.
W coraz większym stopniu umożliwia to klientom i dostawcom usług w chmurze wymianę tradycyjnych, ale mniej elastycznych, długoterminowych nośników, takich jak napędy optyczne lub taśma magnetyczna. W szczególności taśma wymaga ostrożnego zarządzania fizycznego, jeśli jest używana do długoterminowego przechowywania.
Dlaczego potrzebujemy nieograniczonego przechowywania?
Ponieważ organizacje starają się wydobyć więcej wartości ze swoich danych, a koszty przechowywania spadają, istnieje wyraźna tendencja do przechowywania większej ilości danych na dłużej. Firmy mogą chcieć wykorzystywać dane do zaawansowanych analiz lub do szkolenia systemów sztucznej inteligencji.
Istnieją również wymogi regulacyjne dotyczące dłuższego przechowywania danych. Opieka zdrowotna i usługi finansowe to tylko dwa obszary, w których organizacje mogą być zobowiązane do przechowywania dokumentacji przez cały okres życia klienta lub pacjenta, a także przez kilka lat po tym okresie.
Na przykład w Wielkiej Brytanii dokumentacja pacjenta musi być przechowywana przez 10 lat po śmierci. Organizacje, które zgodnie z przepisami dotyczącymi zapobiegania oszustwom potrzebują pełnego wglądu w klienta, również będą musiały przechowywać dane dłużej.
Nawet dane sektora edukacji, takie jak transkrypcje dyplomów, wymagają długoterminowego przechowywania. Na przykład uniwersytet w Manchesterze przechowuje dokumentację swoich studentów w formie elektronicznej od 2007 r., a dokumentację papierową sprzed 1978 r.
Mówiąc szerzej, producenci, dystrybutorzy i sprzedawcy detaliczni muszą dłużej przechowywać informacje o pochodzeniu produktów i informacje dotyczące bezpieczeństwa ze względów środowiskowych i bezpieczeństwa.
Projektowana żywotność od 40 do 50 lat nie jest niczym niezwykłym w urządzeniach przemysłowych lub transporcie. Operatorzy muszą mieć dostęp do danych dotyczących konserwacji w celu serwisowania lub w przypadku nieoczekiwanych awarii.
Systemy informatyczne służące do obsługi sprzętu w latach 80. bardzo różnią się od tych stosowanych obecnie, a te, z których będziemy korzystać za 40 lat, znów będą inne.
„Jeśli spojrzeć wstecz na historię 80 lat temu, nie mieliśmy tego problemu. To był problem z papierem” — mówi Patrick Smith, dyrektor ds. technologii w regionie EMEA w firmie Pure Storage, dostawcy.
„Przewiń do przodu o kolejne 80 lat i spodziewaj się kilku zmian paradygmatu w tym czasie”.
A potrzeba dłuższego przechowywania danych jest połączona z rosnącymi zbiorami danych, jak to opisuje Smith, z każdym podzbiorem danych, takim jak komponent, producent, lokalizacja, materiały, proces produkcyjny i daty, które zwiększają wykładniczy wzrost. Wyzwaniem jest stworzenie sposobów przechowywania danych, które poradzą sobie z tym wzrostem, jak również z typowym cyklem odświeżania sprzętu, bez konieczności hurtowego przenoszenia danych co trzy do pięciu lat.
„Jeśli spojrzeć na świat opieki zdrowotnej, celem jest przechowywanie danych w formacie, który nie jest powiązany z żadnym konkretnym pakietem oprogramowania, abyśmy mogli je odzyskać w przyszłości”, mówi Smith.
Prawdopodobnie oznacza to dalszy poziom abstrakcji między sprzętem a danymi, a także nowe technologie przechowywania danych.
Opcje przechowywania na czas nieokreślony
Opcje przechowywania danych wykraczające poza projektowany okres eksploatacji obecnego sprzętu IT obejmują zarówno proste — dobre zarządzanie sprzętem i zapewnienie redundancji — jak i najnowocześniejsze rozwiązania naukowe.
Wśród bardziej ekstremalnych opcji jest wykorzystanie danych wytrawionych laserowo na szkle, opracowanych przez firmę Microsoft as Projekt krzemionkaoraz Przechowywanie oparte na DNA. To, jeśli można skalować, obiecuje trwałą pamięć masową o bardzo dużej pojemności.
Jednak w najbliższym czasie nacisk kładzie się na poprawę trwałości nośników pamięci, takich jak flash, oraz zapewnienie, że przyszłe aplikacje będą mogły odczytywać dane z obecnych nośników pamięci. Nawet jeśli zespoły IT mogą kopiować – i nadal kopiować – dane na nowsze nośniki, jest to mało przydatne, jeśli danych nie można odczytać.
Z tego powodu branża opracowała wspólne formaty, takie jak PDF/A (którego początki sięgają 2005 r.) oraz dane deklarowane samodzielnie, takie jak samodzielny format przechowywania informacji lub SIRF.
Te formaty danych pozwalają na starzenie się oprogramowania. Chief Information Officers może wykorzystać fakt, że dłuższe przechowywanie danych staje się coraz łatwiejsze.
„Jeśli spojrzysz na dane za pięć, 10, 15, 40 lub 100 lat, platforma będzie inna, sprzęt będzie inny, oprogramowanie będzie inne” — mówi Freeform’s Lock. „To nawet wtedy, gdy fizycznie widzisz bity i bajty”.