La prima cosa che un architetto o un designer grafico farà all’inizio di un progetto è quello di produrre alcuni schizzi preliminari — solo per la sgrossatura le loro idee su carta, forse aumentata con il computer-aided software di progettazione. Ma il suono stilisti non hanno strumenti simili. Un consorzio di ricercatori Europei sta cercando di cambiare lo sviluppo di una suite di strumenti di schizzo per il suono, in base a voce e con i gesti.
“Se sei un architetto e desidera disegnare una casa, si può semplicemente disegnare su un taccuino,” i ricercatori ha scritto in una sintesi del loro lavoro. “Ma che cosa fare se si è un sound designer e desidera rapido schizzo il suono di una moto nuova?” I soliti strumenti — sintetizzatori, campionatori, e sequenze, per esempio — sono complicate e richiedono una notevole formazione per l’uso. Sono solo non è semplice, veloce e intuitiva, come un blocco da disegno.
Il suono è difficile da descrivere a parole, che è il motivo per cui la maggior parte di noi ricorrere a una combinazione di gesto vocale e mimica quando, per esempio, cercando di trasmettere a qualcun altro che una macchina va vrooom. La voce umana è come un built-in sintetizzatore.
“La gente può riconoscere abbastanza bene ciò che una persona imita,” Guillaume Lemaitre, un ricercatore presso l’Ircam di Parigi, in Francia, ha detto Gizmodo via e-mail. “Così, il nostro sogno strumento sarebbe un sintetizzatore che abbiamo potuto interagire direttamente con, [uso] la nostra voce e i gesti, come quello che noi, naturalmente, quando si parla con qualcuno. Idealmente, questo sintetizzatore vorrei capire imitazioni stesso modo in cui una persona avrebbe fatto, e creare suoni di conseguenza.”
Questo è l’obiettivo di SkAT-VG (Schizzi di Tecnologie Audio con la Voce e i Gesti), un tre-anno interdisciplinare progetto di collaborazione tra i quattro partner. Ircam è responsabile per gli aspetti che coinvolgono la psicologia della percezione, analisi del gesto, elaborazione del segnale e di machine learning. Il Royal Institute of Technology (KTH) di Stoccolma, in Svezia, è la manipolazione di fonetica, mentre l’Università Iuav di Venezia, in Italia, si concentra sul suono e la sintesi del suono. E Genesis, una società con sede a Aix-en-Provence, che conduce studi sul suono e sviluppa tecnologie audio per il sound design, è responsabile per l’utente di studi e prototipi di integrazione.
Sponsorizzato
Il primo passo è l’acquisizione di una migliore comprensione di come le persone utilizzano la mimica e la gestualità per comunicare i diversi suoni. Così Lemaitre e la sua Ircam colleghi arrotondato 50 volontari e li fece ascoltare i suoni registrati, quindi imitare i suoni. C’erano suoni meccanici (come il tapping e raschiatura), suoni di oggetti di uso comune (auto, frullatori e seghe) e anche i suoni del computer, come gli effetti sonori nei videogiochi. Tutti i partecipanti sono stati girati con una videocamera GoPro, e dotato di un corpo-tracking kinect e accelerometri attaccati ai loro polsi. Hanno anche bloccato il processo sul video:
Lemaitre ammette che avevano alcune idee sbagliate di andare in studio. Per esempio, “inizialmente Abbiamo pensato che la gente avrebbe disegnare la traiettoria di alcuni acustica caratteristiche — come la pece o l’intensità con le mani in aria, come alzare la mano per imitare il passo andando in su,” ha detto. Ma questo si è rivelato non essere il caso. Invece, i gesti sono stati utilizzati più per enfasi, in un metaforico moda cliché associato italiane personaggi in film e televisione. “Sembravano essere più come simboli che indicano che alcuni complessivo di proprietà dei suoni,” Lemaitre ha detto.
Sulla base di che, lui e i suoi colleghi hanno concluso che i gesti non sarebbe particolarmente utile come un mezzo per controllare con precisione il comportamento di un sintetizzatore in tempo reale, come i membri del consorzio originariamente pensato che potrebbe essere possibile. Vocale imitazioni sono di gran lunga più efficace per questo scopo. “La voce è in grado di riprodurre con precisione più elevati ritmi di gesti, ed è più preciso di gesti durante la riproduzione di complessi schemi ritmici,” secondo Lemaitre di riepilogo.
Il passo successivo è quello di costruire dei veri e propri prototipi di strumenti di schizzo, in base a quanto appreso finora, e testare il funzionamento in condizioni reali. Lemaitre ha detto che il consorzio terrà uno speciale evento di questa primavera, nel sud della Francia, in particolare per i sound designer, dando loro il compito di creare suoni specifici con il prototipo di strumenti e valutare i pro e i contro dei prototipi.
Usi pratici a parte, Lemaitre pensa studi di imitazioni vocali e gesti potrebbe rivelarsi utile anche per i neuroscienziati interessati nella percezione uditiva e la cognizione. Studi come quello di cui sopra può migliorare la nostra comprensione di come i suoni sono codificati nella memoria.
Riferimento:
Rocchesso, D., Lemaitre, G. Susini, P., Ternström, S., & Boussard, P. (2015) “Schizzi Sonori con la Voce e il Gesto,” Interazioni 22(1): 38-41.
[Via Acoustical Society of America]
Immagine: Vista In Pianta/Shutterstock