Amazon dopasuje usta aktorów do dubbingu za pomocą AI

Amazon poinformował o starcie nowej technologii dla Prime Video, która ma zlikwidować odwieczną bolączkę dubbingu, czyli mimikę aktorów zupełnie niezgraną z tym, co słyszymy w tłumaczonej wersji dźwiękowej. Jak twierdzi firma, połączenie sztucznej inteligencji z narzędziami VFX umożliwia cyfrową korektę ruchu ust tak, by odpowiadał on nowej ścieżce językowej. Zapowiedź jest imponująca, choć jednocześnie wzbudza niepokój.

Sztuczna inteligencja poprawia mimikę, nie generuje głosów

Rozwiązanie, które Amazon opisuje po prostu jako „lip-sync technology”, ma za zadanie zgrać ruch warg bohatera z dubbingiem nagranym przez człowieka. To istotne rozróżnienie, bo nie mamy tu do czynienia z syntetycznym generowaniem głosu. Firma zaznacza, że u podstawy wciąż stoi praca profesjonalnych aktorów głosowych, a AI wraz z technikami efektów specjalnych ingeruje jedynie w obraz, dopasowując mimikę do nowo nagranych kwestii.

Efekt niedopasowanego dubbingu znają wszyscy, którzy oglądali produkcje zagraniczne w tłumaczeniu. Krótka wypowiedź w oryginale, na przykład po niemiecku, bywa w polskiej lub angielskiej wersji znacznie dłuższa. W praktyce postać milczy, a dialog jeszcze trwa, albo odwrotnie - usta wciąż się poruszają, choć kwestia już się zakończyła. Widzowie od lat traktowali to jako nieunikniony kompromis wpisany w naturę dubbingu. Amazon sugeruje jednak, że ten kompromis nie musi już obowiązywać.

Pierwszy test na hicie Prime Video

Jako pierwszy produkt do testów wybrano serial „Maxton Hall - Dwa światy”, który Amazon określa jako najpopularniejszą międzynarodową produkcję oryginalną w całej historii platformy. Nowa technologia zadziałała już w angielskiej wersji dubbingowej sezonu pierwszego i drugiego. Firma zapowiada też jej zastosowanie w premierze trzeciego sezonu, zaplanowanej na 9 grudnia.

W efekcie widz śledzący niemiecką produkcję w angielskiej wersji językowej ma odnieść wrażenie, że aktorzy naprawdę mówili po angielsku podczas nagrywania scen. To potencjalnie ogromna zmiana dla serwisów streamingowych, bo Netflix, Disney+ czy Prime Video wydają miliardy dolarów na lokalne produkcje z różnych rynków, a ich globalna dystrybucja od dawna napotyka bariery. Nie każdy widz akceptuje napisy, a nie każdy chce oglądać klasyczny dubbing.

Podobne koncepcje już wcześniej testowano

Warto zaznaczyć, że branża filmowa eksperymentuje z takimi rozwiązaniami od dłuższego czasu. Technologie AI zmieniające ruch ust pojawiały się już w projektach naukowych, w startupach specjalizujących się w lokalizacji treści, a nawet w komercyjnych produkcjach. Ostatnie lata przyniosły coraz więcej pokazów, podczas których aktor mówiący po hiszpańsku sprawiał wrażenie, że bezbłędnie wypowiada się po angielsku, francusku czy niemiecku.

Kluczowa różnica dotyczy jednak skali wdrożenia. Amazon nie ogranicza się do prezentacji na konferencji czy laboratoryjnego demo - wprowadza technologię do jednego z najważniejszych na świecie produktów konsumenckich. To moment przejścia od eksperymentu do usługi dostępnej dla milionów odbiorców.

Lepszy dubbing, ale za jaką cenę

Cały koncept sytuuje się na granicy między poprawą komfortu widza a cyfrową modyfikacją rzeczywistości. Argumentacja Amazona ma sens - firma mówi o głębszym zanurzeniu w oglądaną historię i eliminacji rozpraszającego efektu niedopasowanych ust. Faktycznie wielu odbiorców odrzuca dubbing właśnie ze względu na jego sztuczny wygląd.

Z drugiej strony wchodzimy w obszar, który do niedawna wiązano głównie z deepfake'ami, a nie z serwisami VOD. Widz patrzy na twarz aktora i sądzi, że widzi zapis jego rzeczywistej gry, a coraz częściej to, co pojawia się na ekranie, jest cyfrowo przetworzoną interpretacją oryginału.

Efekty specjalne towarzyszą kinu od dziesięcioleci, ale dotąd korekta mimiki była działaniem rzadkim i kosztownym. Sztuczna inteligencja może uczynić z niej standardowy etap każdej lokalizacji językowej.

Globalny zasięg kontra obawy widzów

Amazon zapewnia, że nowa technologia ma pomóc twórcom docierać do szerszej publiczności, przy jednoczesnym zachowaniu kontroli kreatywnej nad ostatecznym efektem. Firma dodaje, że cały proces przebiega pod nadzorem mającym chronić artystyczną integralność dzieła. Deklaracja brzmi rozsądnie, choć trudno oderwać ją od szerszego trendu w branży.

Sektor rozrywkowy od dwóch lat notuje coraz śmielsze wejście AI do obszarów zarezerwowanych do niedawna dla ludzi. Najpierw były to napisy generowane automatycznie, potem tłumaczenia maszynowe, następnie syntetyczne głosy. Teraz dołącza do tego cyfrowa korekta twarzy.

Każda z tych zmian bywa prezentowana jako niewielkie ulepszenie doświadczenia użytkownika. Problem w tym, że nagromadzenie takich drobnych kroków oznacza coraz mocniejszą ingerencję algorytmów w treści kulturalne. To właśnie budzi silny sprzeciw części odbiorców.

Kluczowa kwestia to reakcja publiczności

Sama technologia jest interesująca, ale jeszcze ciekawsze będzie to, jak zareagują widzowie. Rysują się dwa możliwe kierunki.

W pierwszym scenariuszu odbiorcy szybko zaakceptują takie rozwiązanie jako nowy standard dubbingu. Za kilka lat klasyczny, niedopasowany ruch ust może wydawać się przestarzały, podobnie jak dziś postrzegamy filmy w rozdzielczości 480p.

W drugim scenariuszu widzowie zaczną doświadczać efektu, który specjaliści od animacji nazywają „uncanny valley”. Obraz z wierzchu wygląda poprawnie, ale mózg podświadomie rejestruje, że twarz została cyfrowo zmodyfikowana.

Na razie nie da się przewidzieć, który z tych wariantów się sprawdzi.

Pewne jest jedno: sztuczna inteligencja przestaje być dla platform streamingowych jedynie technologią działającą gdzieś w tle. Coraz częściej wpływa bezpośrednio na treść, którą widz ma przed oczami. W momencie, gdy AI zaczyna korygować ruch ust aktorów, trudno nie odczuć, że rywalizacja o autentyczność obrazu wchodzi w nową fazę. Nie wiadomo, czy będzie ona lepsza. Z pewnością jednak będzie bardziej syntetyczna.

Źródło: Spider's Web