L'architetto 'Avatar': una conversazione con il guru del Performance Capture Joe Letteri

Che Film Vedere?
 
  Avatar: La via dell'acqua

'Avatar: La via dell'acqua'



Per gentile concessione di 20th Century Studios

Il regista James Cameron e il senior di Wētā FX effetti visivi supervisore Joe Letteri non ha perso tempo a gettare le basi per 'The Way of Water'. Dopo il cambio di gioco ' Avatar ” ha rivoluzionato la produzione virtuale e la performance capture nel 2010, Cameron e Letteri si sono riuniti in un ritiro per valutare cosa potevano fare meglio. Fortunatamente, Wētā era a buon punto nel perfezionare le sue capacità di acquisizione delle prestazioni e animazione facciale, oltre a scrivere il software per il suo motore di rendering basato sulla fisica, Manuka, e lo strumento di pre-illuminazione in tempo reale, Gazebo, innovazioni che hanno notevolmente avvantaggiato i franchise 'Planet of the Apes' e 'Hobbit', così come 'Alita: Battle Angel' e 'Gemini Man'.

Ciò che Cameron aveva in mente per 'The Way of Water' richiedeva una tecnologia ancora più innovativa da parte di Wētā e del suo studio Lightstorm. Il regista voleva l'aspetto di un documentario NatGeo per il suo sequel di fantascienza, che avrebbe ampliato il mondo di Pandora per includere il clan della barriera corallina Metkayina e la loro magnifica cultura sottomarina. Per questo, Cameron e Letteri hanno collaborato alla loro impresa più ambiziosa fino ad oggi. Mentre il regista ha guidato la progettazione di una fotocamera 3D Sony Venice da 180 libbre per girare per la prima volta l'acquisizione di performance subacquee, il team VFX di Wētā ha ampliato le sue soluzioni di flusso di lavoro per ingerire l'enorme quantità di risorse da animare in Nuova Zelanda. Allo stesso tempo, Letteri si è reso conto che aveva bisogno di revisionare il software di animazione facciale di Wētā per soddisfare le esigenze realistiche delle performance degli attori. Quindi lo studio VFX ha creato un nuovo rivoluzionario sistema facciale basato sui muscoli chiamato APFS (Anatomically Plausible Facial System). Questo ha sostituito l'obsoleto risolutore di forme di fusione (FACS) manipolando i muscoli direttamente sui modelli per ottenere prestazioni più sfumate.

La leadership di Letteri non si è fermata qui. Inoltre, Wētā ha ricostruito l'intero approccio di simulazione utilizzando una metodologia globale che ha consentito un nuovo livello di realismo e interazione per capelli, vestiti, pelle e superfici dure. Ciò comprendeva anche un nuovo strumento di simulazione FX chiamato Loki per acqua e fuoco. Cameron aveva richieste molto specifiche per l'aspetto e il comportamento dell'acqua, sia in superficie che in profondità, e voleva che il fuoco CG sembrasse il più vicino possibile al fuoco reale. Ciò ha richiesto una maggiore comprensione della combustione da parte del team tecnico, e Letteri li ha fatti iniziare con un test a lume di candela prima di affrontare la distruzione più complessa causata dai lanciafiamme.

Popolare su IndieWire

Il cinque volte premio Oscar Letteri (“Avatar”, “King Kong”, “Il Signore degli Anelli: Il Ritorno del Re” e “Le Due Torri”, più un premio Wētā Sci-Tech condiviso per il rendering della pelle) discusso di questo e altro in un'ampia conversazione con IndieWire poco prima dell'uscita di 'The Way of Water'.

IndieWire: quando tecnicamente hai iniziato a lavorare su ' Avatar: La via dell'acqua ”?

Joe Letteri: Una volta che abbiamo iniziato a esaminare la sceneggiatura e sviluppare le risorse, penso che fosse circa il 2013. Il lavoro pesante con i fatturati in arrivo e tutto era probabilmente il 2017. Anche se, dopo ['Avatar'], abbiamo fatto tutto questo post mortem - Jim [ Cameron] voleva sapere: 'Cosa potremmo fare meglio la prossima volta?' Quindi abbiamo lavorato davvero da allora, sviluppando l'intero sistema di produzione virtuale, scrivendo il software.

Abbiamo scritto Manuka per il motore di rendering che abbiamo utilizzato sin dal terzo 'Hobbit' e 'Apes' — che esiste da un po'. Ma allo stesso tempo, abbiamo anche scritto Gazebo, che ne era la controparte in tempo reale, che poteva essere usato sul palco e darti parità visiva, e gli shader avrebbero funzionato allo stesso modo. Tutto ciò è in corso dal 2010: cercare di costruire un sistema che integri ciò che Lightstorm stava facendo sul palco con ciò che stiamo facendo.

Quanto è stato utile il lavoro che hai continuato a fare per film come “Apes”, “Alita: Battle Angel” e “Gemini Man”?

Sempre molto utile perché ci ha permesso di progredire, progredire e progredire con quello che stavamo facendo.

Dopo 'Alita', mi sono reso conto che l'intero sistema facciale che stavamo facendo era finito, quindi dovevamo cambiarlo. Quindi abbiamo scritto un nuovo sistema facciale per ['The Way of Water']: abbiamo usato una rete neurale per capire una base per i muscoli - questo è il motore ora che guida tutto. Possiamo provare a risolvere i muscoli dell'attore, trasferirli al personaggio, e quindi gli animatori hanno il controllo diretto dei muscoli.

Hanno anche controlli di posa di livello superiore. Ci ha permesso di lavorare a qualsiasi livello a cui l'animatore ha bisogno di lavorare, cosa che il vecchio sistema FACS non poteva fare. Potresti lavorare solo con le forme di fusione, quindi se devi modificare le prestazioni (perché i risolutori non sono mai corretti al 100%, gli animatori devono sempre fare qualcosa) o mettere insieme due prestazioni, questo è uno strumento molto migliore.

È sempre un processo iterativo. Costruisci sempre su ciò che avevi prima, ma poi costruisci le nuove cose che non hai e quelle diventano gli strumenti che utilizzerai la prossima volta.

  Avatar: La via dell'acqua

'Avatar: La via dell'acqua'

Per gentile concessione di 20th Century Studios

Diresti che questo è un punto di svolta tanto quanto il primo 'Avatar'?

Il primo sembrava davvero più un punto di svolta, solo perché, per me, uscendo da 'Il Signore degli Anelli' e 'King Kong', è stata un'opportunità per dire: 'OK, ora dobbiamo costruire il mondo intero . Cosa facciamo?' Abbiamo fatto il punto su tutto ciò che abbiamo fatto e l'abbiamo integrato con le idee di Jim sulla telecamera virtuale. Era una specie di 'OK, questa è una nuova piattaforma'.

Qui, stiamo costruendo su quello. Se hai bisogno di girare sott'acqua o integrare i personaggi con l'azione dal vivo, molte delle tecniche che abbiamo escogitato, come il compositing di profondità, sarebbero davvero utili. Alcuni registi lo useranno, altri no. Ma, per noi, è assolutamente ciò di cui abbiamo bisogno per fare questi film.

La cosa principale in 'The Way of Water' è che tu presenti la Metkayina e il mondo sottomarino.

I personaggi erano interessanti perché cerchiamo di trattarli come se fossero un'altra specie della stessa creatura. Forse non sono nemmeno una specie diversa: sono Na'vi, ma hanno le loro differenze perché si sono adattati all'acqua. Hanno quelle code più grandi e più forti, le membrane nittitanti, le membrane extra sulla pelle per renderle più idrodinamiche - le chiamiamo 'strakes'. Volevamo differenziarle per dimostrare che erano veramente adattate a questo ambiente, ma anche perché esalta le differenze tra la famiglia Sully [e i Metkayina]. [Stanno] praticamente immigrando in questo posto e cercano rifugio, sapendo che sono [Ride.] Pesci fuor d'acqua.

Quali erano alcune delle caselle che Cameron voleva spuntare per questo, in base alla sceneggiatura?

Penso che per Jim, la cosa più importante sia stata fare l'acqua e la cattura dell'acqua perché non voleva fare questo in un modo in cui avevi un sacco di pantomima, e poi ci siamo semplicemente animati sopra. Voleva davvero che la performance fosse naturale nell'acqua.

  AVATAR: THE WAY OF WATER, (aka AVATAR 2), regista James Cameron, sul set, 2022. ph: Mark Fellman /© Walt Disney Studios Motion Pictures / Courtesy Everett Collection

Dietro le quinte di 'Avatar: The Way of Water'

Mark Fellman/Walt Disney Studios Motion Pictures/Per gentile concessione di Everett Collection

Cosa c'entrava in questo?

Tutto ciò è stato gestito dalla parte di Lightstorm perché ora possiedono i Giant Studios, quindi c'erano Ryan Champney [supervisore della produzione virtuale di Lightstorm] e quei ragazzi lì che ci lavoravano. E penso che molto sarebbe dovuto al fatto che avevamo bisogno di due volumi: uno sotto e uno sopra l'acqua. Dovevano lavorare contemporaneamente. E solo cose funzionanti come 'Quale spettro di luce usiamo per le telecamere e per i riflettori?' Tornando a 'Apes', ci è venuta l'idea di utilizzare luci a infrarossi per poter registrare durante il giorno. E quella si è rivelata una tecnica molto utile per la cattura in generale perché è meno soggetta a riflessi vaganti e cose del genere. Non puoi usare la luce infrarossa sott'acqua perché la luce rossa viene assorbita quasi istantaneamente. Quindi sono passati all'utilizzo di una luce ultra-blu per l'immersione ma a infrarossi sopra, e poi hanno dovuto mettere insieme i due in tempo reale in modo da vedere la performance virtuale arrivare.

Come ha funzionato l'integrazione delle riprese subacquee dal vivo nella simulazione?

Alcuni di questi erano sott'acqua - come con Spider [il ragazzo umano interpretato da Jack Champion] che nuotava - ma molto è successo in superficie. Hanno costruito queste rocce sul bordo della vasca e hanno fatto scavare le onde. Quindi, quando Spider entra ed esce dalla riva con gli altri personaggi, abbiamo avuto tutto questo. Ma questo sistema di composizione in profondità che abbiamo costruito si è rivelato funzionare abbastanza bene per l'acqua.

Nel primo film, abbiamo creato questo concetto di composizione in profondità: poiché si trattava di un film stereo, lavorare a strati era impossibile. Inoltre muoversi attraverso la giungla, cercando di scomporre quella roba nella composizione tradizionale basata su livelli, è stato semplicemente troppo difficile. Quindi abbiamo avuto questa idea di composizione di profondità in cui ogni pixel porta le proprie informazioni di profondità, quindi la composizione viene eseguita pixel per pixel. E quella è diventata una tecnica standard.

Per questo film, abbiamo utilizzato il deep learning e costruito una rete neurale per analizzare la scena mentre veniva girata. Abbiamo aggiunto una coppia di [fotocamere] stereo Basler sopra la fotocamera principale e questo ci ha permesso di risolvere la profondità in tempo reale, pixel per pixel. In modo che qualsiasi cosa abbiamo composto - come se Edie Falco stesse parlando con Quaritch [Stephen Lang], avevamo la sua profondità di pixel, quindi Quaritch poteva girarle intorno, poteva camminare intorno a lui, e Jim o chiunque stesse operando poteva vederlo nel video foraggio. E questo in realtà ha funzionato anche per l'acqua. Quando avevamo dei personaggi in acqua mentre stavamo girando dal vivo, potevamo effettivamente seguire la superficie dell'acqua in profondità. Ci ha davvero aiutato a integrare l'acqua quando dovevamo fonderci tra l'acqua in primo piano live-action e tutta l'acqua circostante e i personaggi della performance-capture.

So che hai revisionato la simulazione come parte del processo, inclusi acqua e fuoco. E Jim, che capisce sott'acqua come chiunque altro, aveva delle idee su come voleva che l'acqua si comportasse. Parlami di quella collaborazione e di trasformarla in acqua simulata - penso che si chiami Loki?

[Loki è] una suite di risolutori che lavorano tutti insieme. Perché l'acqua esiste in tutte queste diverse scale: hai la grande massa d'acqua, ma poi se hai uno spruzzo, inizia a rompersi, poi si scompone ulteriormente in spray, e poi si scompone in nebbia. Fisicamente, hanno tutti modi diversi di interagire con l'aria e la resistenza.

Quello che fa Loki è che abbiamo una cosa chiamata la macchina a stati che analizza gli stati in cui si trova l'acqua e gestisce la transizione, e poi fondamentalmente passa, in base allo stato, a un sub-solver che è ottimizzato per ciascuno di quegli stati e poi li reintegra in modo da ottenere un passaggio che contiene tutto. Ma tutto tiene conto della fisica di ciò che ogni scala d'acqua dovrebbe fare.

  Avatar: La via dell'acqua

'Avatar: La via dell'acqua'

Per gentile concessione di 20th Century Studios

Parlami degli ambienti simulati per le giungle e l'intero mondo sottomarino.

Entrambi hanno avuto un approccio simile perché devi costruire tutti i pezzi. Jim ha curato la direzione artistica di gran parte del film durante la ripresa, mettendo le cose dove voleva mentre le guardava attraverso la telecamera virtuale.

Molto dipende dall'interazione: hai il vento o hai personaggi che si muovono nella giungla, interagendo con le cose. Quindi stai facendo molte collisioni e dinamiche per farlo funzionare. Ma sott'acqua c'è una corrente, come le onde che inducono una corrente sott'acqua che va dall'alto verso il basso. Quindi non una grande corrente come, diciamo la Corrente del Golfo, non qualcosa su scala globale, ma localmente le onde influenzeranno ciò che sta accadendo sotto di essa. Quindi abbiamo simulato anche quello.

Abbiamo generato un campo di corrente dal modello delle onde, e questo causerebbe il movimento dei coralli sottomarini. Ma l'abbiamo anche usato per influenzare gli artisti perché dovevano reagire allo stesso modo: se nuoti nella corrente, avrai un movimento diverso rispetto a se nuoti al di fuori della corrente. E quella corrente non corrispondeva sempre a ciò che stava accadendo nel serbatoio. Quindi prenderemmo il movimento e lo modificheremmo per adattarlo al corretto flusso di corrente. E la stessa cosa con la fotocamera. Se hai un cameraman sott'acqua, viene trascinato dalla stessa corrente, non ne è distaccato. Quindi dovevamo assicurarci che la fotocamera facesse la stessa cosa in modo che tutto fosse integrato.

Per quanto riguarda l'animazione, essendo in grado di far crescere la fauna e la flora sott'acqua, hai utilizzato un sistema esistente? In 'Apes', avevi lo strumento dell'albero organico, Totara.

Abbiamo adattato quel sistema per fare il corallo. Sono state scritte cose nuove su come cresce il corallo. Ma siamo stati in grado di utilizzare gli stessi componenti di base perché quando l'abbiamo costruito avevamo già tutto in mente.

E lo stesso per la giungla e il villaggio?

Era una combinazione. Il villaggio era diverso. La giungla, hai una combinazione di alberi artistici che sono fondamentalmente scolpiti, come se fossero sul palco, e ne avevi di cresciuti. Ma poi nel villaggio, a parte gli alberi, tutto era costruito con questo materiale intrecciato. [Wētā] Workshop ha realizzato queste grandi miniature che hanno tessuto usando tecniche di tessitura tradizionali, hanno costruito il tutto e costruito una cornice, e potremmo usarla non solo per studi sull'illuminazione, ma per capire come creare questi materiali intrecciati. Lo stesso valeva per i costumi, e poi abbiamo scritto un nuovo software che imitasse i modelli di tessitura per i cestini, per quello che indossavano, per la passerella su cui si trovano, per le pareti. È tutto intessuto di migliaia e migliaia di fili di una specie di fibra di canapa.

Anche l'illuminazione è importante. Per la cinematografia di Russell Carpenter, ha dovuto dedicare molto tempo all'illuminazione virtuale e all'abbinamento. E poi hai tutta l'illuminazione bioluminescente sott'acqua. So che avevi il sistema Phys-Light per simulare l'illuminazione sul set - hai costruito su quello?

Stava praticamente usando quello. Penso che il vero trucco sia stato, dato che Jim stava lavorando con la telecamera virtuale sull'illuminazione man mano che andava, stavamo tutti seguendo ciò che aveva stabilito, sia che si trattasse di live-action con Russell o di noi per tutta la CG o se fosse un mix .

Ma il vantaggio è che avevamo scritto Gazebo, il che significava che qualunque luce stessero usando sul palco era fisicamente accurata in prima approssimazione. Ovviamente, prendi molte scorciatoie per arrivare in tempo reale, ma almeno sapevamo che lì c'era parità. Quindi questo ci ha aiutato, e ha anche aiutato Russell perché le luci non erano così strane da non poter ottenere un aspetto simile studiandole e accendendole per davvero. Penso che sia da qui che provenga la maggior parte di ciò: il fatto che avevamo costruito questa piattaforma integrata da cui lavoravano tutti.

Parla di più della piattaforma integrata per la cinematografia perché può creare confusione: cos'è considerata la cinematografia tradizionale, cos'è la cinematografia virtuale e come si fondono?

Il modo in cui funziona il processo è che Jim inizia a progettare mentre scrive. Ha un dipartimento artistico che sta facendo schizzi e costruendo modelli CG e cercando di preparare qualcosa per le riprese virtuali. Jim fa quello che chiamiamo un modello, dove gira una versione virtuale del film per cominciare. Inizia con qualcosa chiamato scout, che è molto simile a uno scout tradizionale in cui sali sul palco per la prima volta, ottieni tutti gli elementi nell'ambiente che dovrebbero essere lì, e c'è una troupe di attori sostituti che stanno eseguendo l'acquisizione delle prestazioni ed è tutto fatto per il blocco. Quindi fai una prova per assicurarti che 'Sì, queste sono le risorse giuste, questo è il modo in cui dovrebbe apparire il set', richiama eventuali modifiche e torna indietro per maggiori dettagli.

Una volta fatto tutto ciò, ne costruiscono una versione fisica usando questi come mattoncini Lego sul palco, e la performance li cattura su questo. Quindi gli attori stanno lavorando su un set che imita ciò che sarà nel mondo virtuale finale. E poi Jim prende tutto questo e inizia a selezionare le interpretazioni che gli piacciono dagli attori. A quel punto non c'è nessuna telecamera oltre a un tipo generale di telecamera di blocco, quindi sai da che parte della linea dovresti trovarti, quindi l'editoria ha qualcosa con cui iniziare a lavorare.

Quindi Richie Baneham [supervisore creativo degli effetti visivi di Lightstorm] prende tutto ciò dalle selezioni di Jim e le mette insieme e fa quello che chiamiamo un RCP, che è un passaggio approssimativo della telecamera. Questo è ora ciò che Jim pensa di girare, come gli angoli di cui hanno parlato. Gli editori sono proprio lì: il materiale viene inserito nell'Avid mentre sta accadendo, e gli editori gridano: 'Sì, funziona' o 'Potremmo aver bisogno di un'altra angolazione da qui'. Quindi stanno lavorando con Richie per bloccarlo e assicurarsi che ottengano tutta la copertura. Quindi questo va a Jim, e se va tutto bene, allora Jim sa cosa deve iniziare a sparare. E entrerà, accenderà le sue telecamere e farà gli ultimi ritocchi: qualsiasi aggiustamento che vuole fare, seleziona una ripresa o direzione artistica o illuminazione o altro. Lo fa in quel passaggio finale, dandoci il modello. Risolve l'intero film in questo modo.

Prima di allora, iniziamo ad analizzare cosa sarà live-action, cosa sarà tutto CG e dove avverrà il mix. Offre a tutti una piattaforma comune su cui lavorare. Abbiamo tutti qualcosa che è più di uno storyboard che ci dà ciò di cui questo film avrà bisogno.

E questa integrazione, che fa parte della produzione virtuale, abbraccia tutti i reparti.

Lo fa. E il software che scriviamo con e per Lightstorm sin dal 2010, lo chiamiamo Atlas, che è una sorta di descrizione della scena combinata e un motore di valutazione. Quindi puoi costruire le tue scene, il tuo ambiente, il tuo layout, ma puoi anche integrare l'animazione, il che è ovviamente importante quando fai qualcosa dal vivo perché stai catturando l'animazione e dove sono le cose.

Come descriveresti com'era Jim durante tutto questo?

Abbiamo avuto una buona base dal primo film e ci abbiamo lavorato insieme per quasi 10 anni, quindi penso che tutti avessimo una buona comprensione, entrando nel merito, di quali sarebbero stati i punti di forza, cosa doveva ancora essere incrinato. E sai, la cosa con Jim è che gli piacciono gli effetti visivi e conosce gli effetti visivi. Quindi è felice di entrare nelle erbacce con te se c'è un problema e cercare di capire cosa sta succedendo e come potremmo risolverlo. È fantastico perché capisce quando colpiamo un muro, perché colpiamo un muro

I problemi più grandi erano modi per creare un maggiore realismo?

No, il problema più grande era probabilmente l'acqua. Quando giriamo con la telecamera virtuale, cerchiamo di fare tutto il più velocemente possibile perché vogliamo che sembri un film d'azione dal vivo. Quindi c'è una rapida rappresentazione della superficie dell'acqua. Ma se sappiamo che qualcosa come una creatura sguazzerà nell'acqua, prenderanno semplicemente una carta con sopra un film splash e la inseriranno per indicare: 'OK, lo splash accade qui. Jim pensa che sarà così grande e così ampio 'e questa è la copertura nell'inquadratura. Quindi, quando esegui la simulazione vera e propria, probabilmente risulterà diverso. Non puoi davvero sapere come una grande creatura schizzerà nell'acqua. Quindi scopri improvvisamente che quell'onda sta cambiando la tua composizione perché copre l'azione che avevi bisogno di vedere per lo scatto. Tutto questo è così ben pianificato che se qualcosa del genere interrompe l'inquadratura, allora la sequenza si interrompe.

Questa è stata probabilmente la cosa più difficile da capire: come domare la simulazione e i dati per fare ciò che vogliamo? Stai facendo cose come imbrogliare la velocità, stai imbrogliando la massa, ma a volte è stato davvero necessario cambiare la telecamera. Dovevamo solo dire a Jim: 'Non funzionerà'. Perché per spingerlo fin dove serve, per mantenere tutti gli elementi del tiro lì dentro, l'acqua sembrerà finta.

  AVATAR: THE WAY OF WATER, (alias AVATAR 2), regista James Cameron (al centro), sul set, 2022. ph: Mark Fellman /© Walt Disney Studios Motion Pictures / Courtesy Everett Collection

Dietro le quinte di 'Avatar: The Way of Water'

Mark Fellman/Walt Disney Studios Motion Pictures/Per gentile concessione di Everett Collection

Capisco che Jim li abbia davvero messi alla prova con il desiderio di emulare il vero fuoco e dicendo: “Non sono sicuro che tu possa farlo. Facciamo piccoli passi da una candela ai lanciafiamme.

Bene, la candela è stata una mia idea, non di Jim, perché era più un 'OK, come capiamo davvero il fuoco?' Bene, devi scendere al livello più piccolo. E si scopre che anche una candela è incredibilmente complessa. Ci sono migliaia di reazioni chimiche che avvengono in un nanosecondo. È come, “Va bene, non lo simuleremo mai. Quindi, come possiamo ancora ottenere l'aspetto giusto che vogliamo?

Ma è stato molto istruttivo farlo perché ci ha aiutato a costruire il sistema più grande. Abbiamo fatto un test del lanciafiamme su un grosso pezzo di tessuto marui, perché volevamo vedere come sarebbe stato. Ma quei test che abbiamo fatto con la candela hanno contribuito a informare anche qualcosa di così grande. Si è parlato molto del tentativo di fare quel live-action, ma semplicemente non era pratico. Ho pensato che avremmo potuto risolverlo. Avere quell'unica ripresa come ottimo riferimento ha fatto il lavoro per noi.

A che punto sei con gli altri film?

Tre sono stati uccisi. E davvero per noi, abbiamo appena iniziato con tre. C'era un piano che avremmo iniziato prima su tre, ma la realtà è che finisci sempre quello su cui sei per primo.

E quattro?

Un po' di quattro è stato girato. Perché dal punto di vista della trama, c'era una certa sovrapposizione con i set che dovevano essere costruiti. Ma ci concentreremo prima su tre.

Stai ancora sviluppando software?

Sempre.

Ci saranno nuove aree di Pandora da esplorare oltre a quelle sott'acqua?

Sai a chi fare questa domanda. [Ride.] Non sono io.

Jim ha scherzato sul fatto che l'ultimo potrebbe aver luogo sulla Terra.

Posso solo dire che li ho letti tutti. Sono belle storie.



Articoli Più