Facebook, WhatsApp, Instagram i wszelkie usługi korzystające z usług Facebooka były wczoraj niedostępne przez sześć godzin (4 października 2021 r.) ze względu na zmianę konfiguracji, która odłączyła Facebooka od internetu.
Według niektórych raportów inżynierowie Facebooka nie byli również w stanie uzyskać zdalnego dostępu do serwerów Facebooka, co oznaczało, że administratorzy potrzebowali fizycznego dostępu do sprzętu centrum danych, aby rozwiązać problem. Problem pogorszył sposób działania Internetu, który autonomicznie replikował błędną konfigurację na całym świecie. W efekcie miliardy ludzi nie miały dostępu do usług opartych na Facebooku.
Santosh Janardhan, wiceprezes ds. infrastruktury na Facebooku, przeprosił w poście na blogu: „Wszystkim ludziom i firmom na całym świecie, którzy polegają na nas, przepraszamy za niedogodności spowodowane dzisiejszą awarią naszych platform. Przepraszamy wszystkich poszkodowanych i pracujemy aby lepiej zrozumieć, co wydarzyło się dzisiaj, abyśmy mogli nadal zwiększać odporność naszej infrastruktury”.
W poście Janardhan powiedział, że zmiany konfiguracji routerów szkieletowych, które koordynują ruch sieciowy między centrami danych Facebooka, spowodowały problemy, które przerywały komunikację. „To zakłócenie ruchu sieciowego miało kaskadowy wpływ na sposób komunikowania się naszych centrów danych, powodując zatrzymanie naszych usług” – powiedział.
Według analizy awarii przeprowadzonej przez Cloudfare, zmiana konfiguracji spowodowała, że nazwy DNS Facebooka przestały rozwiązywać adresy IP. W efekcie oznaczało to, że ich adresy IP infrastruktury były nieosiągalne. „To było tak, jakby ktoś „wyciągnął jednocześnie kable” ze swoich centrów danych i odłączył je od Internetu” Cloudflare odnotowany w poście na blogu.
„O 16:58 UTC zauważyliśmy, że Facebook przestał ogłaszać trasy do swoich prefiksów DNS. Oznaczało to, że przynajmniej serwery DNS Facebooka były niedostępne. Z tego powodu resolwer DNS 1.1.1.1 Cloudflare nie mógł już odpowiadać na zapytania z prośbą o adres IP facebook.com lub instagram.com” – stwierdził Cloudflare w poście na blogu.
Według Cloudflare problem z DNS offline został zaostrzony przez Protokół bramy granicznej (BGP), mechanizm wymiany informacji o routingu między systemami autonomicznymi (AS) w Internecie. Internet jest w rzeczywistości siecią sieci połączonych ze sobą protokołem BGP.
Każda z tych sieci ma numer systemu autonomicznego (ASN) z ujednoliconą polityką routingu wewnętrznego. Według Cloudflare każdy ASN musi ogłosić swoje prefiksowe trasy do Internetu za pomocą BGP, w przeciwnym razie nikt nie będzie wiedział, jak się połączyć i gdzie znaleźć usługi internetowe.
Jego dane rejestrowania ruchu internetowego wykazały, że szczyt zmian routingu z Facebooka nastąpił o 15:40 UTC.
– Wtedy zaczęły się kłopoty. Trasy zostały wycofane, serwery DNS Facebooka przeszły w tryb offline, a minutę po wystąpieniu problemu inżynierowie Cloudflare byli w pokoju, zastanawiając się, dlaczego [1.1.1.1, our DNS resolver] nie mogłem rozwiązać facebook.com i martwiłem się, że jest to w jakiś sposób usterka naszych systemów” – powiedział Cloudfare.
Sieć sieci tworząca internet jest zbudowana pod kątem odporności, a ruch IP jest automatycznie kierowany za pomocą systemu DNS. Jednak po zmianach konfiguracyjnych wprowadzonych przez Facebooka inne serwery DNS nie mogły już „widzieć” serwerów nazw Facebooka, które tłumaczą facebook.com na fizyczny adres IP, i założyłem, że są offline.
„Ze względu na to, że Facebook przestał ogłaszać swoje trasy prefiksów DNS przez BGP, nasze i wszystkie inne programy rozpoznawania nazw DNS nie miały możliwości połączenia się ze swoimi serwerami nazw. W związku z tym 1.1.1.1, 8.8.8.8 i inne główne publiczne programy rozpoznawania nazw DNS zaczęły wydawać (i buforować) odpowiedzi SERVFAIL” – zauważył Cloudflare.
Ponieważ aplikacje internetowe zwykle próbują uzyskać dostęp do serwerów, nawet jeśli wyślą błąd SERVFAIL, Cloudflare powiedział, że odnotował ogromny wzrost żądań DNS. Jego dane dziennika wykazały 30-krotny wzrost takich żądań. Według Cloudflare usługi Facebooka zostały wznowione o 21:28 UTC.