>>>NEW<<< Hackspace H-LOBOX - MOSAICO MIRAGE (ITA)

COS’E’

H-lobox nasce dall’unione di un software sperimentale realizzato da Ondazerostudio, per la gestione di contenuti interattivi per VJing / videoinstallazioni / videomapping e dei box espositivi realizzati nel laboratorio Hackspace.

E’ sostanzialmente una vetrina olografica a riflessione (Pepper’s Ghost Showcase), ossia un contenitore espositivo all’interno del quale è possibile veder comparire immagini di diversi con un illusione di tridimensionalità. E nelle versioni più avanzate è possibile anche interagirvi, e/o selezionare i diversi contenuti da riprodurre. La gestione dei contenuti tramite applicazioni di rendering 3D in tempo reale consente una maggior versatilità, personalizzazione e aggiornabilità dei contenuti stessi rispetto ai video pre-renderizzati.

IL PRINCIPIO OTTICO DI FUNZIONAMENTO

L’illusione ottenuta si basa su una fondamentale quanto elementare legge di riflessione della luce secondo cui, un fascio luminoso che incide su una superficie piana, viene riflesso secondo un angolo opposto a quello di incidenza. Se questa superficie è trasparente, semiriflettente, e al posto di un raggio di luce abbiamo un’immagine, questa apparirà formarsi su un piano virtuale situato dietro la lastra semiriflettente, a una distanza di messa a fuoco uguale alla distanza della sorgente dalla superficie riflettente, più la distanza dell’osservatore. 

Se il monitor è verticale e l’angolo di incidenza è di 45% quindi, l’immagine si formerà su un piano virtuale perfettamente verticale, che parte dall’intersezione del piano dell’immagine sorgente (monitor) con il piano della superficie riflettente.

CENNI STORICI

Le origini di questa tecnica, apparentemente concepita come tecnologia futuristica in molti film di fantascienza, risalgono in realtà al XVI secolo.

La prima descrizione di proiezione olografica per riflessione, è riportata dal filosofo alchimista napoletano Giovan Battista della Porta (inventore tra l’altro della camera oscura) nel trattato Magia Naturalis, del 1584.

Oltre 2 secoli dopo, nel 1858, l’ingegnere Inglese Henry Dircks, riprendendo il dispositivo di Della Porta, brevettò la “Dircksian Phantasmagoria”, 

una speciale installazione teatrale che riproduceva una stanza dentro cui compariva un fantasma. Il trucco era ottenuto con una stanza a “L” e uno specchio posto come in figura. La parte in cui stava l’attore veniva tenuta al buio. L’accensione di una luce illuminava l’attore facendo comparire per riflesso il fantasma. Circola voce che ai tempi questo trucco fosse usato da ciarlatani di strada per spillare danaro ai passanti offrendo servizi di comunicazione con l’aldilà. E pare che Dircks usasse i suoi spettacoli per metterne in guardia la gente.

Purtroppo l’installazione risultò troppo costosa e comportava la totale ristrutturazione dei teatri, e non ebbe successo.

In seguito, presso l’università di Westminster, Dircks conobbe un altro scienziato, John Henry Pepper, che girava i teatri di tutto il regno facendo seminari con dimostrazioni scientifiche. Pepper, conoscendo meglio il funzionamento dei teatri, rivoluzionò l’installazione di Dircks, semplificandola, e rendendola fruibile su più vasta scala .

La tecnica assunse così il nome di Pepper’s Ghost. E si sviluppò in due versioni. Singola lastra di vetro, attore nel fossato lato pubblico, e con uno specchio e una lastra di vetro, che correggeva meglio la prospettiva e consentiva una miglior “mappatura” dell’immagine.

Nei decenni successivi, sia la tecnica di Dircks che quella di Pepper sarebbero state riprese sia per la creazione di effetti speciali analogici per il cinema, sia per la creazione di illusioni in molti parchi di divertimenti, e in tempi più moderni, con l’introduzione dei proiettori digitali e dei monitor, sta tornando alla ribalta sia nella versione miniaturizzata delle vetrine, sia nei grandi show.

COM'E' FATTA?

La struttura H-Lobox realizzata da Hackspace e OndazeroStudio è fatta in legno, mdf, e può essere rivestita in tnt, pvc espanso, Forex. E’ stata realizzata in vari formati (3 lati, 4 lati e lato singolo) e dimensioni (dai 21” ai 50” più una versione miniaturizzata a 4 lati),  con materiali di facile reperibilità. Prevalentemente legnami e plexiglas.

Questo schema si riferisce a una vetrina per installazione semipermanente interattiva. E’ costituita da una base, all’interno della quale si colloca un portatile o un pc fisso su cui gira l’applicazione per la gestione dei contenuti interattivi. Su un apposito ripiano si colloca il dispositivo di tracciamento (corpo o mani). Sopra si colloca un ripiano, su cui possono essere posizionati anche piccoli elementi scenografici e oggetti (soprattutto per le versioni passive). Sopra si posiziona il supporto per il monitor, una cornice di sicurezza ammortizzante, il monitor, e una gonnella di copertura.

Infine, La superficie riflettente che crea l’effetto “miraggio”, può essere in plexiglass da 2 a 5 mm con barre di supporto. L’ideale per grandi formati (>50”) è  un foglio di policarbonato o pvc messo in tiraggio su un telaio in alluminio 

 

Nel caso di versioni passive, il monitor riceve l’immagine da un lettore bluray/riproduttore mp4 con uscita hdmi.

Nel caso di versioni interattive, il monitor è collegato all’uscita video di un pc su cui gira l’applicazione di controllo.

INTERFACCIA SOFTWARE

Il Software che gestisce i contenuti interattivi, la loro selezione e la mappatura su schermo, è realizzato su engine Unity 3D 5. Lo sviluppo è partito nel gennaio 2015 con l’intento di creare un’applicazione interfacciabile con i software da VJ e Videomapping che permettesse di gestire contenuti interattivi multipli. Successivamente è stata implementata la funzione di mappatura olografica su sistemi a 1, 3 e 4 superfici.

Lo sviluppo è avvenuto inizialmente su Mac e  Sono state realizzate diverse versioni Beta con varie implementazioni a ogni aggiornamento. Riassumendo:

Versione 1) Possibilità di inserire oggetti 3D renderizzati in tempo reale e selezionabili tramite tasti numerici.

Versione 2) Introdotto sistema a  3 e 4 Telecamere per Piramidi Olografiche con uscita video su canali virtuali separati. La calibrazione delle telecamere sui lati avviene mediante software VJ “Modul8” o “Resolume” o equivalenti.

Versione 3) Introdotta funzione di selezione Telecamere e calibrazione  mediante comandi da tastiera. Si può saltare la mappatura mediante software VJ.

Versione 4) Introdotti Personaggi animati in tempo reale dallo spettatore mediante Kinect. I personaggi possono essere cambiati mantenendo il tracciamento. (nota per sviluppatori) L’acquisizione dei dati dal Kinect avviene su Mac mediante librerie OpenNi e middleware NiTe. L’interfacciamento con Unity può essere  realizzato tramite il software ZigFu, che consta di un bundle indipendente e di un plugin che ne acquisisce i dati su Unity. In fase di sviluppo si associano i punti tracciati con la struttura scheletrica del personaggio virtuale. Valida alternativa è rappresentata dal software NiMate che si avvale delle stesse librerie e ha un funzionamento molto simile con meno opzioni.

Versione 5) Introdotti elementi di realtà aumentata. L’utente viene tracciato nello spazio reale e associato a un avatar nello spazio virtuale , che può interagire con oggetti virtuali all’interno della vetrina, in particolare usando sistemi di collisione, rilevatori di posizione / distanza, per attivare animazioni  o associando alle mani dei campi di forza per attrarre/respingere oggetti dentro il box. Infine, Oggetti reali di piccole dimensioni vengono riprodotti in 3d, inseriti nel box reale  e in quello virtuale per creare interazioni con sistemi particellari. L’oggetto presente nel box può essere cambiato mediante pulsanti di selezione virtuali.

PROGETTO MOSAICO MIRAGE per ETNACOMICS 2015

L’installazione e del tipo a 3 lati interattiva assistita e l’applicazione di controllo è sviluppata solo su Mac.

Vengono visualizzati diversi oggetti sia pre animati, sia con diversi tipi di interazione. Gli oggetti sono selezionabili mediante tasti numerici, ma è possibile anche attivare un timer con cambio ciclico dei contenuti.

A rotazione o a comando dell’operatore compaiono:    

Un logo animato Hackspace, Un robot che copia i movimenti dello spettatore, un drago che cambia posizione se lo spettatore si avvicina,  delle biglie fluttuanti che vengono attratte dalle mani dello spettatore e sbattono contro le pareti della teca, un occhio meccanico che segue la persona più vicina cambiando colore a secondo della distanza, un logo Mosaico le cui lettere vengono attratte dalle mani per poi tornare in posizione, un barattolo in miniatura reale (da inserire appositamente) su cui rimbalzano delle particelle 

  

PROGETTO H-LOBOX per CMC 2016 – Domina Coral Bay

L’interfaccia è molto essenziale. Una volta avviata l’applicazione, viene visualizzato un omino stilizzato, un simbolo maschile e uno femminile. L’utente, una volta tracciato, vedrà l’omino nella vetrina copiare i suoi movimenti. 

Seguendo l’indicazione a schermo guiderà la mano dell’omino sul simbolo scelto e questi si trasformerà istantaneamente nel personaggio scelto. I due personaggi sono mascotte della ditta committente appositamente ideati e realizzati.

  All’interno dell’ambiente virtuale sono presenti degli oggetti fluttuanti (molecole), con cui l’utente può interagire tramite il personaggio virtuale. Inoltre dei bottoni per tornare al menu di selezione o cambiare il personaggio    .  

(nota per sviluppatori) Versione per Windows

Il progetto ha richiesto in fase finale, una conversione del software per Windows per 2 motivi:

1)  La qualità del tracciamento con le librerie Microsoft SDK risulta più pulito rispetto alle librerie per Mac.

2)   La necessità di installare 4 postazioni interattive dovendo rientrare in un budget limitato.

Lo sviluppo ha richiesto una modifica radicale dell’architettura dell’applicazione, per quanto riguarda la selezione dei personaggi. Questo perché il plugin Kinect SDK Microsoft crasha nei cambi scena e nell’attivare/disattivare un character tracciato.

WORKFLOW

1 – PLAN : progettazione del contenitore fisico (modello 3D).

2 – FLOWCHART: Determinare la struttura dell’applicazione, il numero di scene, gli elementi da inserire, gli strumenti di interattività

3 – MODELING : realizzazione modellini character e oggetti di scena (modellazione, texturing & materials, rig & skinning, pose test)

4 – CRAFTING: realizzazione della struttura di visualizzazione olografica (taglio, colorazione, montaggio, rifiniture).

5 – VIRTUAL SCENOGRAPHY composizione della scena virtuale e importazione dei modelli

6 – CODING: compilazione codici e installazione plugin terze parti/librerie.

7 – DEVELOPMENT: sviluppo applicazione, abbinamento codici/oggetti, scrittura game manager e test funzioni di base.

8 – HARDWARE CONFIGURATION: configurazione dei PC di controllo e installazione drivers kinect/Leap Motion e applicazione (versioni interattive)

9 – DELIVERING: assemblaggio hardware su teca e consegna/installazione.

1)    PROGETTAZIONE STRUTTURA

In fase di progettazione le misure vanno stabilite di volta in volta a seconda delle dimensioni degli schermi o in base alla disponibilità di spazi o di particolari richieste del committente. In generale bisogna rispettare delle precise proporzioni.

-               La superficie riflettente deve avere un’inclinazione di 45°

-            L’altezza (h) della teca deve essere leggermente inferiore all’altezza del monitor (area reale schermo)

-               Il piano (su cui è possibile collocare oggetti reali) deve avere una profondità di ¼ - 1/3 maggiore dell’altezza del monitor.

-               Sia la kinect che la Leap Motion vanno posizionati a un’altezza ideale di 80cm – 1 metro da terra (20 cm in più per Leap Motion).

La superficie riflettente deve essere pulita, priva di graffi, e mantenuta perfettamente piana mediante staffe laterali e una traversina orizzontale. Dovendo limitare lo spessore per evitare doppi riflessi, sia il vetro che i sintetici tendono infatti a imbarcarsi deformando fastidiosamente l’immagine.

2)    FLOWCHART

Le modalità di riproduzione dei contenuti vanno progettatate tenendo conto dell’utilizzo che se ne deve fare.

Sostanzialmente la procedura va adattata a varie tipologie di installazione:

-       Passiva semipermanente (dispositivo di riproduzione esterno collegato a box: lettore bluray/mp4 hdmi)

-       Passiva portatile/tascabile (contenuti riprodotti su smartphone/tablet che fa anche da schermo sorgente)

-       Interattiva assistita (contenuti interattivi e non gestiti da regia video o avvio/spegnimento assistito)

 -   Interattiva Permanente (accensione dispositivi e avvio applicazione           automatizzati)

 

1)        MODELLAZIONE
I modelli dei personaggi possono essere creati tanto con Maya, quanto con Blender, C4D, 3DS, Lightwave ecc…

I modelli sono stati realizzati interamente con tecnica Hard Surface e in totale non hanno superato i 15.000 poligoni.Nel modello femminile, i capelli sono stati esportati come skin mesh separata per la simulazione dinamica su Unity.

Il formato utilizzato per l’esportazione è un FBX con animazioni, definizioni scheletro e skin mesh, e materiali

4) CRAFTING

Riguardo i materiali , i formati tascabili possono avere struttura di supporto e superficie riflettente in plexiglas. Il vetro è da evitare in tutte le installazioni non permanenti.  Per dimensioni maggiori, la struttura di supporto può essere realizzata in legno/alluminio. I rivestimenti possono andare dal TNT al forex / pvc espanso.

La superficie riflettente nei formati grandi va rinforzata con staffe in alluminio. Nei formati giganti conviene usare fogli in policarbonato, o film olografici, messi in tiraggio su telaio di alluminio.

5) SCENOGRAFIA VIRTUALE

La scena va composta rispettando le proporzioni con le dimensioni reali del dispositivo di riproduzione. Ciò al fine di proporzionare al meglio i movimenti e gli effetti visivi e dinamici. Si impostano anche i colliders e i rigid body per le simulazioni dinamiche e si predispongono i triggers.  Fondamentale la posizione e l’orientamento delle telecamere virtuali e luci che debbono coincidere perfettamente con il punto di vista dell’osservatore.    

6) CODING    
In questa fase si scrivono tutti i codici che dettano il comportamento degli oggetti all’interno della scena.

I linguaggi utilizzati sono essenzialmente C# e Javascript.

7) DEVELOPMENT

SI abbinano i codici ai Game Object, si compila lo script di Game Manager, che gestisce il funzionamento dell’intera applicazione. SI creano le interfacce con eventuali dispositivi esterni come Kinect o controllers

               

8) CONFIGURAZIONE HARDWARE

Per versioni interattive, o automatizzate non interattive, si configura un PC, un Mac. Configurando appositamente una scheda Arduino, è possibile abbinare un controller MIDI appositamente progettato per dei controlli rapidi di selezione dei contenuti.

9) ASSEMBLAGGIO E CONSEGNA

Una volta testato il funzionamento, vengono installati eventuali elementi hardware internamente alla struttura di supporto, e si procede con il rivestimento finale. Nel caso di installazioni di grandi dimensioni questa fase avviene direttamente sul luogo.

CASE HISTORY E SVILUPPI FUTURI
Attualmente l’installazione è stata esposta nel formato interattivo assistito piramidale presso stand Hackspace a Etnacomics 2015 – Centro Fieristico Le Ciminiere, Catania e in una versione interamente personalizzata per il cliente, durante l’evento CMC2016, presso Il Domina Coral Bay Hotel di Santa Flavia (PA), organizzato da MCA. In questo caso sono state realizzate installazioni di misure variabili, dai 46” ai 50”, sia in versione interattiva semiassistita (solo avvio e shudown) e passiva.

In entrambi gli eventi l’installazione ha subito attratto la curiosità dei passanti, confermando l’efficacia del sistema olografico per contenuti pubblicitari o semplicemente interattivi di intrattenimento.

I contesti in cui H-Lobox ha operato hanno evidenziato sia le potenzialità del sistema olografico in se, e in abbinamento all’applicazione di gestione contenuti (che resta indipendente), sia i rispettivi limiti di questo tipo di installazioni. In particolare è emerso come il tracciamento con kinect, in particolare per funzioni di Motion Capture e Body Mapping, siano limitate dalla necessità di ampi spazi liberi e della presenza del solo “attore” davanti al dispositivo di tracciamento, a non meno di 3 metri. Situazione pressochè incontrollabile in un contesto di eventi fieristici. Molto più efficaci risultano le animazioni indotte dal passaggio di persone o dal loro avvicinamento alla vetrina, o dettate dalla loro posizione generica.

Lo sviluppo della parte software pertanto procederà con introduzione di tracciamento mani e riconoscimento facciale per l’inserimento di contenuti esplorabili e sistemi di tracciamento più compatibili con installazioni di piccole dimensioni.

Il Mocap sarà implementato per diversi formati di riproduzione, in particolare pareti interattive o in abbinamento a coreografie mimico-ballettistiche con bodymapping.