Dyrektor generalny Respeecher o pracy nad Gwiezdnymi wojnami, Księgą Boby Fetta Luke’a i nie tylko

Jeśli kiedykolwiek oglądałeś Gwiezdne Wojny pokaż na Disney Plus, jest duża szansa, że ​​znasz pracę startupu technologicznego Badacz, czy zdajesz sobie z tego sprawę, czy nie. Dostarczono platformę do klonowania głosu opartą na sztucznej inteligencji ukraińskiej firmy Odstarczający występ wokalny Marka Hamilla zarówno Mandalorianin oraz Księga Boby Fettaa także dla jeszcze niezidentyfikowanej postaci w Obi-Wan Kenobi. Lucasfilm poprosił Respeechera, aby na razie zachował imię tej postaci w tajemnicy — a ponieważ tak wielu weteranów franczyzy powraca do serii, z pewnością nie brakuje potencjalnych kandydatów.

Firma Polygon rozmawiała z dyrektorem generalnym Respeecher, Alexem Serdiukiem, aby lepiej zrozumieć proces, który dla wielu fanów bez wątpienia graniczy ze świętokradztwem: wykorzystanie technologii do stworzenia całkowicie zindywidualizowanych przedstawień dla jednej (lub nawet dwóch) najbardziej kultowych postaci z sagi Gwiezdnych Wojen. Serdiuk od samego początku kładzie nacisk na ludzki pierwiastek stojący za samą platformą. „Dzięki naszej technologii i naszym usługom możemy stworzyć cyfrową kopię określonego głosu i umożliwić innej osobie wypowiadanie się tym głosem” – wyjaśnia. „I dlatego umożliwiamy [studios] skalować głosy, starzeć głosy, a nawet wskrzesić głosy w niektórych projektach”.

Tak więc, daleko od obrazu mentalnego wyczarowanego przez terminy takie jak „sztuczna inteligencja” i „klonowanie głosu” – inżynier dźwięku uruchamiający linie dialogowe za pomocą algorytmu komputerowego, który następnie wypluwa pliki audio. Praca Respeechera nad Gwiezdnymi Wojnami jest zaskakująco nastawiona na wydajność. Podczas gdy Sam Darth Vader może być teraz więcej maszyny niż człowieka, jeśli ukraiński startup daje głos (a pamiętajmy, że powiedzieliśmy „jeśli”), esencją głosu bohatera jest nadal bardzo dużo z krwi i kości.

„Nie ma jeszcze sztucznej inteligencji i nie wierzę, żeby istniała, która pozwoliłaby nam wykorzystać ją pod klucz do stworzenia spektaklu, który chcemy stworzyć. […] Potrzebujemy innego ludzkiego głosu [to provide] wkład, ponieważ ten ludzki głos oddaje wszystkie modulacje, akcent, styl mowy i tempo, w tworzeniu których sztuczna inteligencja nie jest dobra” – podkreśla Serdiuk. Dodaje: „Nasz system wymaga działania na wejściu, więc może to być wykonane przez tę samą osobę, która jest na przykład odstarczana, lub ktoś inny. […] Potrzeba całego występu, całego aktorstwa od tego, co nazywamy „głosem źródłowym”, a następnie dokonujemy konwersji”.

Co więcej, Respeecher pozwala aktorom takim jak Hamill nagrywać różne ujęcia, tak jak na prawdziwym planie, które eksperci firmy mogą później dostosować pod koniec na podstawie notatek od showrunnerów, takich jak Jon Favreau lub reżyserów, takich jak Deborah Chow.

„W przypadku projektów studyjnych i filmów mogą nagrać tysiące ujęć dla każdej linii, a to oznacza, że ​​musielibyśmy je wszystkie przekonwertować [into the younger voice], odeślij je z powrotem, a może wyślij różne wersje, ponieważ trenowaliśmy różne modele z różnymi konfiguracjami”, mówi. „Czasami też musimy sprostać twórczym oczekiwaniom, aby mogli nas po prostu kierować, Czy możesz spróbować zrobić? [a line reading] brzmią trochę bardziej w ten sposób? i postaramy się, aby brzmiało to trochę bardziej, jak proszą.

Tak więc ostatecznym celem jest odtworzenie tradycyjnego przedstawienia za pomocą nietradycyjnych środków — w przypadku Mandalorianin lub Księga Boby Fettajakby wersy Hamilla były w jakiś sposób transmitowane bezpośrednio z planu z lat 1983 Gwiezdne wojny: Powrót Jedi? „Celem jest sprawienie, by brzmiała tak, jakby została nagrana wczoraj w studio przez sam docelowy głos” – zgadza się Serdiuk.

Oczywiście, w przypadku technologii klonowania głosu, takiej jak Respeecher, nadal istnieje ryzyko, że zsyntetyzowane wykonanie będzie brzmiało sztucznie, nawet jeśli widzowie nie są do końca pewni, dlaczego. Serdiuk przyznaje nawet, że postarzały głos Hamilla brzmi „o wiele lepiej” w Księga Boby Fetta niż to było w Mandalorianin, dzięki niewielkim, ale znaczącym ulepszeniom w sposobie „wytrenowania” modelu AI Respeechera do naśladowania wokalu aktora. Jednocześnie dyrektor generalny szybko zwraca uwagę, że podczas gdy wielu fanów narzekało na efekty wizualne użyte do przedstawienia 20-latków Luke Skywalker w Mandalorianin finałniewielu zdawało sobie sprawę, że głos Mistrza Jedi był również syntetyczny, dopóki Lucasfilm nie wyrzucił fasoli w Galeria Disneya „robienie” specjalnego kilka miesięcy później.

Serdiuk wspomina, że ​​przekonujące, postarzane wokale Hamilla w Mandalorianin oraz Księga Boby Fetta były tym bardziej imponujące, biorąc pod uwagę jakość starszych aktywów, które Respeecher otrzymał od Lucasfilm. “To [data] był dość stary, więc mieliśmy coś z taśm, mamy jakieś stare nagranie ADR, coś z gry wideo – wspomina Serdiuk. „I chodzi o to, że musisz przeszkolić te dane w swoim modelu, aby umożliwić mu generowanie jakości wyjściowej, która pasowałaby do nowoczesnej produkcji. W wielu projektach związanych ze starzeniem się lub wskrzeszaniem [performer’s voices]może to być głównym wyzwaniem, ponieważ brak danych i jakość danych wprowadzają dodatkowe blokady w zakresie dobrego brzmienia”.

Dyrektor generalny Respeecher utrzymuje, że przezwyciężenie tych przeszkód związanych z danymi było tego warte, teraz, gdy gracze wagi ciężkiej w branży, tacy jak Lucasfilm, podjęli się pracy, którą wykonują. “[We] zacząłem od pomysłu zbudowania mowy syntetycznej [platform] na poziomie, na którym przeszłaby przez inżynierów dźwięku i hollywoodzkie studia i wylądowała w wielkich produkcjach. Kiedy więc zaakceptują nasze brzmienie, kiedy powiedzą coś dobrego o dźwięku, który byliśmy w stanie wyprodukować — a to jest bardzo skomplikowane i ciężkie wyzwanie techniczne, aby stworzyć syntezatorową mowę na poziomie, na którym nie da się jej odróżnić od prawdziwego nagrania — w w takich przypadkach naprawdę nas zachęca i pomaga nam się rozwijać” – mówi.

Powiedziałem Serdiukowi, że rosnąca akceptacja technologii klonowania głosu może oznaczać, że studia nie będą już wzywać utalentowanych dźwiękowców do zastępowania zmarłych aktorów. Na przykład nie Łotr 1. Gwiezdne wojny – historie — w którym Guy Henry naśladował głos śp. Peter Cushing jako Wielki Moff Tarkin — być projektem, który automatycznie wylądowałby teraz na biurku Respeechera? Niekoniecznie, zdaniem Serdiuka, który postrzega technologię klonowania głosu Respeechera jako jedną z kilku realnych opcji do dyspozycji filmowców.

Zdjęcie: Lucasfilm/Disney

„Zawsze istnieją różne wizje tego, jak rzeczy powinny się dziać w branży, a fani mają różne przemyślenia na temat tego, jak powinny się dziać. nie powiedziałbym tego [Respeecher] bardzo dobrze nadaje się do kierowania lub sędziowania [which approach is best],” on mówi. Serdiuk wyjaśnił również, że gdyby Lucasfilm kiedykolwiek wezwał Respeechera do odtworzenia głosu zmarłego aktora, firma zrobiłaby to tylko za zgodą majątku tego aktora. I chociaż reakcja Serdiuka uspokoi na razie aktorów głosowych, fakt, że Lucasfilm jest stałym klientem Respeechera, sugeruje, że startup poczynił poważne kroki w zakresie technologii klonowania głosu.

Rzeczywiście, Serdiuk ma już wizję przyszłości Respeechera, która wykracza poza odmładzające się głosy aktorów, chociaż pozostaje nieugięty, że to, co planuje firma, poszerzy horyzonty twórcze filmowców, a nie je skurczy. Mówi o demokratyzacji technologii, aby mniejsze studia filmowe i telewizyjne oraz twórcy gier wideo mogli wykorzystać ją do dalszego rozciągnięcia swoich budżetów. Mówi również entuzjastycznie o przełomowych zastosowaniach platformy Respeecher w opiece zdrowotnej — nawet przytaczając jeden przypadek, w którym firma współpracuje z aktorem głosowym, który stracił głos, aby umożliwić mu ponowne występy.

Jednak patrzenie w przyszłość nie oznacza, że ​​Serdiuk stracił z oczu, co oznacza dla Respeechera bycie częścią pewnej kosmicznej opery, której akcja rozgrywa się dawno temu w odległej galaktyce. „To coś wyjątkowego. Jesteś częścią tej historii. Można śmiało powiedzieć, że Gwiezdne Wojny przełamały całkiem spory grunt dla Hollywood, prawda? Rewolucjonizowali branżę od samego początku z technicznego punktu widzenia, a sposób, w jaki robią swoje filmy, jest wyjątkowy. Dlatego to wielki zaszczyt móc pracować z tymi ludźmi i uczyć się od nich”.