3D Real Time – Musica e Realtà Aumentata

pharos AR 3D music app

This post is also available in: English

Le tecnologie 3D real time offrono oggi nuovi format mediatici: un particolare che non ha lasciato indifferenti gli attori più innovativi dell’industria musicale, come Childish Gambino, fautore di Pharos AR, una delle esperienze in realtà aumentata più interessanti finora implementate in ambito mobile.

Childish Gambino di fatto altri non è che l’avatar musicale di Donald Glover, e chi lo segue dalle origini sa benissimo di cosa sia stato finora capace questo poliedrico artista americano, che spazia dalla recitazione, alla scrittura, alla musica con una disinvoltura che non ha al momento paragoni nel mondo dello spettacolo. La sua è una vera esplosione creativa, capace di innovare radicalmente tutto ciò che tocca. Ed è proprio la sua capacità di coinvolgere il pubblico attraverso esperienze nuove a fare di lui un potenziale game changer dell’industria musicale.

PHAROS AR – Una brand experience in realtà aumentata

Pharos AR è un’applicazione in realtà aumentata che consente di esplorare l’inconfondibile universo creativo di Childish Gambino, ascoltando i suoi brani involandosi per ambienti a dir poco psichedelici. Dopo aver scaricato l’app dai consueti store mobile iOS e Android, l’esperienza consente accedere ad un portale ed immergersi in un mondo surreale, da soli o in un multipresenza, per intraprendere un viaggio che porta dalla caverna allo spazio, chiara allegoria dell’evoluzione umana, in cui non manca una citazione celebre al 2001 di Kubrick. Per provare tutto questo non è ovviamente necessario andare ad un concerto di Childish Gambino. La app è in grado di “aggiungere” il mondo di Pharos in ogni luogo, in qualsiasi momento, unendoci ad altre persone accomunate dalla stessa passione, in ogni angolo del mondo.

L’industria musicale ha vissuto l’era di internet come una fase di radicale trasformazione. Il parziale crollo dei modelli di business consolidati, non ha probabilmente variato il modo di fare musica inteso in senso artistico, ma ha senza dubbio generato la necessità di produzioni capaci di intercettare e coinvolgere in modo differente il proprio pubblico, confrontandosi con regole prima di allora soltanto sfiorate. Ancor prima di concretizzarsi quale strumento di entertainment, Pharos AR costituisce un’esperienza di marketing basata su logiche di marca tipicamente enterprise.

Si tratta di un caso di successo capace di ispirare i brand innovativi alla produzione di esperienze uniche e dal forte impatto emozionale, sfruttando l’elemento novità (pochi attualmente stanno investendo in questa direzione, NdR) per posizionarsi in maniera favorevole nel proprio mercato di riferimento (a maggior ragione se ipersaturi come quello musicale, NdR). Il riflesso dell’iniziativa supera infatti i confini immersivi dell’esperienza stessa. Basti pensare alla visibilità che Donald Glover, grazie al suo atteggiamento tech friendly, è riuscito ad ottenere a livello mediatico, con la relativa “pubblicità gratuita” ed aumento esponenziale della propria awareness.

AR Development – la missione creativa di Mediamonks

Intervistato da Mark Sullivan (Fast Company), Donald Glover ha dimostrato di avere le idee molto chiare in merito alla volontà di voler creare un ambiente di fantasia in cui vivere la musica del suo alter ego Childish Gambino: “La realtà aumentata elimina ogni barriera tra il mondo reale e quello digitale“. Ed è proprio grazie all’interazione tra gli elementi in computer grafica e la realtà che ci circonda che vengono messe in relazione le persone: è la prima volta, nel caso dell’industria musicale, che assistiamo ad un’applicazione cross piattaforma in multipresenza.

Per dare forma a questa rivoluzione digitale, Wolf + Rothstein, agente di Childish Gambino, ha fornito ai creativi di Mediamonks il seguente briefing: “Fate ciò che volete, basta che sia multiplayer“. Se il “fate cio che volete” può sembrare il sogno per qualsiasi creativo, il “basta che sia multiplayer” ha rischiato di rivelarsi un vero e proprio incubo, data l’ambizione del progetto ed i vincoli nell’utilizzo inedito di uno strumento tecnicamente ancora molto limitato: la AR real time in ambito mobile.

Eric Wagliardo, direttore creativo di MediaMonks, ha di recente rivelato come: “Il rischio maggiore è derivato dal fatto che le richieste comportassero di fatto un nuovo metodo di storytelling. Childish Gambino vuole lasciare la sua arte libera all’interpretazione di chi ne fruisce. Abbiamo dunque dovuto disegnare una app il più possibile libera da istruzioni. La fase di tutorial è già parte integrante della storia, non la precede, e chi sviluppa contenuti immersivi sa come sia complesso raggiungere questo obiettivo. Il pubblico è molto eterogeneo e l’esperienza va disegnata anche per chi prova la AR per la prima volta“.

Pharos AR è dunque una “story driven application”, inconsapevolmente agevolata dalle insospettabili conoscenze di Wagliardo: “In studio mi prendevano in giro per il fatto di essere un fanboy, ma sostanzialemente è vero, in quanto seguo con passione Donald Glover dal 2005“.

Il making of di Pharos AR contiene importanti rivelazioni da parte dei creatori del mondo virtuale di Childish Gambino. La complessità e la natura del tutto inedita dell’utilizzo della realtà aumentata in multipresenza nell’industria musicale ha trovato luogo grazie a Unity, un middleware capace di integrare tutte le tecnologie interattive necessarie (credit: Unity)
La tecnologia chiave: ARCore Cloud Anchors

Cloud Anchor è una tecnologia proprietaria di ARCore, che grazie ad una piattaforma cloud consente a più device di condividere informazioni in realtà aumentata referenziate nel mondo reale. La struttura host-client su cui è implementata consente di creare un ambiente collaborativo tra più utenti, che possono creare e visualizzare i contenuti in uno spazio comune, visualizzandoli in modo corretto sulla base della propria posizione.

Una delle particolarità di Cloud Anchors è data dal fatto che, pur essendo basata su una tecnologia proprietaria Android, risulta compatibile anche con iOS. Questo consente agli sviluppatori di esperienze come Pharos AR la possibilità di rendere disponibile la app cross platform, creando di fatto un solo ambiente social AR per tutti gli utilizzatori.

Presentato a Google I/O 2018, ARCore Cloud Anchors consente di condividere su più device i contenuti in realtà aumentata. Il video mostra chiaramente come, una volta che entrambi i device hanno effettuato il tracking del tavolo, sia l’utente host che l’utente client siano in grado di visualizzare in tempo reale, nella posizione relativamente corretta, i contenuti 3D renderizzati in overlay. (credit: Digital Trends)
I contenuti 3D real time: la flessibilità di Unity

Quale parte integrante della piattaforma ARCore, Cloud Anchors è peraltro integrato in Unity, il game engine utilizzato da MediaMonks per sviluppare in un ambiente creativo 3D di Pharos AR: “Non abbiamo avuto dubbi nella scelta di Unity – spiega Eric Wagliardo – grazie al suo supporto per lo sviluppo su mobile, e per il fatto di integrare ARCore sin dal suo esordio“. Lo sviluppo di Pharos AR ha coinvolto circa 50 persone.

In merito alla produzione dei contenuti 3D, uno degli aspetti più interessanti del lavoro realizzato da MediaMonks è l’avatar di Childish Gambino, realizzato con il sistema particellare di Unity, così come quelli delle persone che danzano all’interno delle scene.

Pharos AR è dunque il risultato di un concerto di tecnologie 3D che parte dal motion tracking dell’artista, utilizzato per effettuare il rigging del modello. L’immaginario cosmico, caratterizzato da luci e colori molto accesi, è stato renderizzato sulla base di un lookdev che ha visto protagonisti gli shader custom di Unity e l’utilizzo del Post-Processing Stack per la gestione di tutti gli effetti. Data l’esigenza di ottimizzare le scene, in fase di rendering sono state disabilitate alcune feature, su tutte ombre ed anti aliasing, il cui calcolo in real time risulta particolarmente gravoso, specie su un hardware limitato come quello degli smartphone. Si tratta di dettagli rivelati dallo stesso Jakko Van Hunen, senior Unity Developer di MediaMonks, nel making of ufficiale del progetto.

Il progetto di sviluppo, proprio grazie all’utilizzo di un software come Unity, è stato implementato interamente in real time, per offrire una user experience anch’essa in tempo reale. Oltre alla generale coerenza contenutistica che comporta il creare tutto all’interno dello stesso strumento, un workflow real time consente di abbattere drasticamente i tempi di sviluppo, rendendo simultanea la successione lineare degli step, tipica di un processo tradizionale.

Pharos, un’immersione completa: dal live show in realtà virtuale alla suggestione in realtà aumentata

Pharos AR costituisce soltanto uno dei momenti dell’esperienza digitale di Childish Gambino, un episodio contestualizzato in una strategia di comunicazione attenta e ben consapevole delle potenzialità che il 3D real time è in grado di realizzare attraverso le sue molteplici espressioni, in grado di generare delle sinergie straordinariamente efficaci.

L’universo 3D di Pharos è stato visualizzato in una spettacolare performance projection mapping live in nuova Zelanda. Grazie alla realtà virtuale è stato creato Pharos VR, per dare modo di assistere remotamente ad un concerto grazie ad un’esperienza 360. Per accompagnare tutto questo questo non poteva ovviamente mancare una companion app: pharos.earth, disponibile per device iPhone e Android.

Nel caso di Pharos AR era dunque fondamentale mantenere una coerenza stilistica già in atto, fortemente riconoscibile dai fan dell’artista. Nel creare la versione particellare in AR “aver avuto a disposizione i dati reali delle movenze di Childish Gambino – spiega Wagliardo – ha consentito di portare l’esperienza nella realtà […] In ogni dettaglio, abbiamo cercato di uniformare la rappresentazione dell’universo di Pharos, in modo che risulti sempre riconoscibile ai fan, sia nei concerti dal vivo che nell’esperienza in AR. C’è sempre una connessione con l’identità del brand“.

Pharos è un’esperienza narrativa digitale che si arricchirà sicuramente di nuovi capitoli, come lo stesso Glover lascia intuire: “La realtà aumentata è destinata a giocare un ruolo consistente nella vita di tutti giorni. L’idea della app era di dare alle persone soltanto un’anteprima di cosa sarà possibile fare“. Se questa affermazione a prima vista potrebbe risultare scontata, assume una rilevanza molto profonda nel momento in cui immaginiamo di estendere le capacità di coinvolgimento del pubblico di cui l’industria musicale necessità per diffondere capillarmente i propri contenuti. Secondo molti esperti ed analisti, il next step nella diffusione della AR multiplayer dovrebbe avvenire quando saranno commercializzati dei sistemi AR wearable destinati al mercato di massa, come i famosi AR glasses promessi da Apple.

Ben prima della sua esperienza in realtà aumentata, l’universo di Pharos è stato creato ad hoc per un memorabile show in Nuova Zelanda: un colossale project mapping di contenuti 3D sulla cupola gonfiabile più grande al mondo. L’esperienza multimediale che ha seguito l’intera performance live di Childish Gambino porta la firma di Weta Digital, che l’ha realizzata utilizzando Unreal Engine. (credit: Epic Games)
Pharos VR è un’esperienza 360 che consente di assistere virtualmente alla performance di Childish Gambino sul palco del suo concerto. Su pharos.earth è disponibile (iOS e Android) una companion app. (credit: Donald Glover)

Fonti consultate: Variety, Fast Company, Unity, Donald Glover, Mediamonks

This post is also available in: English

Related Articles

About author View all posts Author website

Francesco La Trofa

Francesco La Trofa

Architetto e giornalista, con 20 anni di esperienza nelle tecnologie 3D.
Consulente di enti pubblici e aziende 3D per aspetti legati alla progettazione e alla comunicazione.
Responsabile dei contenuti editoriali di Treddi.com e co-fondatore dei Digital Drawing Days, evento unico nel suo genere in Italia.
Collabora attivamente nella ricerca e nella didattica presso il Politecnico di Milano.
Per Protocube Reply cura 3D STORIES.