Samsung opublikował m.in Wpis na blogu w języku angielskim wyjaśniając techniki stosowane przez jego telefony do fotografowania Księżyca. Treść postu nie jest całkiem nowa — wydaje się, że jest to lekko zredagowane tłumaczenie artykułu opublikowane w języku koreańskim w zeszłym roku — i nie oferuje zbyt wielu nowych szczegółów na temat tego procesu. Ale ponieważ jest to oficjalne tłumaczenie, możemy dokładniej przyjrzeć się jego wyjaśnieniu, co robi technologia przetwarzania obrazu Samsunga.
Wyjaśnienie jest odpowiedzią na wirusa Post z Reddita pokazało to wyraźnie, jak wiele dodatkowych szczegółów oprogramowanie aparatu Samsunga dodaje do zdjęć podczas robienia zdjęcia czegoś, co wydaje się być Księżycem. Ta krytyka nie jest nowa (Wejście opublikował obszerny artykuł o fotografii księżyca Samsunga w 2021 r.), ale prostota testu zwróciła większą uwagę na ten problem: użytkownik Reddit ibreakphotos po prostu zrobił zdjęcie sztucznie rozmytego obrazu Księżyca za pomocą telefonu Samsung, który dodał dodatkowe szczegóły, które nie istniały w oryginalny. Możesz sam zobaczyć różnicę poniżej:
W dzisiejszym wpisie na blogu Samsunga wyjaśniono, że jego funkcja „Optymalizator sceny” (która obsługuje fotografowanie Księżyca od serii Galaxy S21) łączy kilka technik w celu generowania lepszych zdjęć Księżyca. Na początek funkcja Super Resolution firmy uruchamia się przy powiększeniu 25x i wyższym i wykorzystuje przetwarzanie wielu klatek do łączenia ponad 10 obrazów w celu zmniejszenia szumów i zwiększenia przejrzystości. Optymalizuje również ekspozycję, aby Księżyc nie wyglądał na prześwietlony na ciemnym niebie, i wykorzystuje funkcję „Zoom Lock”, która łączy optyczną i cyfrową stabilizację obrazu w celu zmniejszenia rozmycia obrazu.
Właściwie identyfikacja Księżyca w pierwszej kolejności odbywa się za pomocą „modelu głębokiego uczenia się AI”, który został „zbudowany w oparciu o różne kształty i szczegóły księżyca, od pełni po półksiężyce, i jest oparty na obrazach zrobionych z naszego widoku z Ziemia.”
Ale kluczowym krokiem i tym, który wywołał wszystkie kontrowersje, wydaje się być użycie niedostatecznie wyjaśnionego „silnika ulepszania szczegółów AI”. Oto jak post na blogu Samsunga opisuje ten proces:
„Po przeprowadzeniu przetwarzania wieloklatkowego kamera Galaxy dalej wykorzystuje oparty na głębokim uczeniu się silnik ulepszania szczegółów AI Optymalizatora scen, aby skutecznie wyeliminować pozostałe szumy i jeszcze bardziej poprawić szczegóły obrazu”.
A oto schemat blokowy procesu firmy Samsung, który opisuje Detail Enhancement Engine jako konwolucyjną sieć neuronową (rodzaj modelu uczenia maszynowego powszechnie używanego do przetwarzania obrazów), która ostatecznie porównuje wynik z ulepszonymi szczegółami z „odniesieniem o wysokiej rozdzielczości”.
Wydaje się, że na tym etapie dodaje się szczegóły, których nie było, gdy zdjęcie zostało zrobione, i może wyjaśniać, dlaczego test uzupełniający ibreakphotos — wkładanie zwykły szary kwadrat na niewyraźne zdjęcie Księżyca — w rezultacie powstał pusty kwadrat nadano teksturę podobną do księżyca przez oprogramowanie aparatu firmy Samsung.
Chociaż ten nowy post na blogu zawiera więcej szczegółów w języku angielskim w porównaniu z tym, co Samsung powiedział publicznie wcześniej, jest mało prawdopodobne, aby zadowolił tych, którzy postrzegają oprogramowanie zdolne do generowania realistycznego obrazu Księżyca z rozmytego zdjęcia jako zasadniczo sfałszowane. A kiedy te możliwości oparte na sztucznej inteligencji są dostępne używane do reklamowania telefonówSamsung ryzykuje wprowadzanie klientów w błąd co do możliwości funkcji zoomu w telefonach.
Ale jako moja koleżanka Allison napisała wczoraj, oprogramowanie aparatu Samsunga nie jest oddalone o milion mil od tego, co fotografia obliczeniowa smartfonów robi od lat, aby uzyskać coraz bardziej wyraźne i żywe zdjęcia ze stosunkowo małych czujników obrazu. „Rok po roku aparaty w smartfonach idą o krok dalej, próbując mądrzej zgadywać fotografowaną scenę i jej wygląd” — napisała Allison. „Wszystko to dzieje się w tle i ogólnie to lubimy”.
Wpis na blogu Samsunga kończy się znamiennym stwierdzeniem: „Samsung nadal ulepsza Optymalizator sceny, aby zmniejszyć wszelkie potencjalne zamieszanie, które może wystąpić między aktem zrobienia zdjęcia prawdziwego księżyca a zdjęciem księżyca”. (Nasze podkreślenie.)
Na jednym poziomie Samsung zasadniczo mówi: „Nie chcemy dać się zwieść bardziej kreatywnym Redditorom, którzy robią zdjęcia Księżyca, które nasz aparat uważa za sam Księżyc”. Ale z drugiej strony firma podkreśla również, ile pracy obliczeniowej wymaga wyprodukowanie tych zdjęć i będzie kontynuowana w przyszłości. Innymi słowy, pozostaje nam zadać to samo pytanie: „czym w ogóle jest fotografia?”