Den første ting, en arkitekt eller en grafisk designer vil gøre ved starten af et projekt er at producere nogle foreløbige skitser — bare til hård sex ud af deres ideer på papir, måske suppleret med computer-aided design software. Men lyden designere ikke har lignende værktøjer. Et konsortium af Europæiske forskere, der søger at ændre ved at udvikle en suite af værktøjer til skitsering lyder, baseret på tale og fagter.
“Hvis du er en arkitekt vil tegne en skitse af et hus, kan du blot trække det på en skitseblok,” forskerne skrev i en sammenfatning af deres arbejde. “Men hvad gør du, hvis du er en lyd designer og vil hurtigt skitse lyden af en ny motorcykel?” De sædvanlige værktøjer — synthesizere, samplere, og sekvenser, for eksempel — er kompliceret og kræver lang uddannelse for at bruge. De er bare ikke så enkel, hurtig og intuitiv som en skitseblok.
Lyden er svært at beskrive i ord, hvilket er grunden til, at de fleste af os ty til en kombination af gestus og vokal imitation, når siger, de forsøger at formidle til en anden person, at en bil går vrooom. Den menneskelige stemme er som en indbygget lyd-synthesizer.
“Folk kan genkende temmelig godt, hvad en person, der efterligner,” Guillaume Lemaitre, en forsker ved Ircam i Paris, Frankrig, fortalte Gizmodo via e-mail. “Så vores drøm værktøj ville være en synthesizer, at vi direkte kan interagere med, [hjælp] er vores stemme og gestus, lige så, hvad gør vi naturligvis, når vi taler med nogen. Ideelt set denne synthesizer ville forstå efterligninger samme måde, som et menneske ville gøre, og oprette lyde i overensstemmelse hermed.”
Det er målet med SkAT-VG (Skitsering Audio-Teknologier med Stemme og Gestus), et tre-årigt tværfagligt samarbejdsprojekt mellem fire parter. Ircam er ansvarlig for aspekter, der vedrører opfattelsen af, psykologi, gestus analyse, signalbehandling og machine learning. Royal Institute of Technology (KTH) i Stockholm, Sverige, er håndtering af fonetik, mens Iuav Universitetet i Venedig, Italien, fokuserer på lyd, design og lyd syntese. Og første Mosebog, en virksomhed baseret i Aix-en-Provence, der gennemfører lyd undersøgelser og udvikler audio-teknologier til lyd-design, er ansvarlig for bruger-undersøgelser og prototype integration.
Sponsoreret
Det første skridt er at få en bedre forståelse af, hvordan mennesker bruger mimik og gestik til at kommunikere forskellige lyde. Så Lemaitre og hans Ircam kolleger rundes op til 50 frivillige, og havde dem til at lytte til lyde, du har optaget, så efterligne de lyde. Der var mekaniske lyde (som at trykke og skrabning), lyde af fælles objekter (biler, blendere og saws) og også computer lyde, som lydeffekter i video spil. Alle deltagerne blev filmet med et GoPro kamera, og den er udstyret med en krop-tracking kinect og omfatter accelerometre, som er knyttet til deres håndled. De har også fanget den proces på video:
Lemaitre indrømmer, at de havde nogle misforståelser, og går ind i undersøgelsen. For eksempel, “Vi oprindeligt troede, at folk ville trække bane af nogle akustiske funktioner, som pitch-eller intensiteten — med deres hænder i vejret, som at hæve din hånd til at efterligne banen går op,” sagde han. Men dette viste sig ikke at være tilfældet. I stedet, gestus blev brugt mere til vægt, i en metaforisk mode baseret på stereotyper, der er forbundet med den italienske figurer i film og tv. “De syntes at være mere som symboler, der angiver visse overordnede egenskaber for lyde,” Lemaitre sagde.
Baseret på, at han og hans kolleger konkluderede, at bevægelser ikke ville være særlig nyttigt som et middel til netop at kontrollere adfærd af en synthesizer i real tid, som er medlemmer af konsortiet oprindeligt troede ville være muligt. Vocal efterligninger er langt mere effektive til dette formål. “Voice kan reproducere præcist højere tempo end fagter, og er mere præcise end fagter, når du skal afspille komplekse rytmiske mønstre,” i henhold til Lemaitre-resumé.
Det næste skridt er at opbygge egentlige prototyper af skitsering-værktøjer, baseret på hvad der er blevet lært indtil nu, og til at teste, hvor godt de virker i den virkelige verden betingelser. Lemaitre sagde konsortiet vil holde et særligt arrangement i dette forår i den sydlige del af Frankrig, specielt til lyd designere, hvilket giver dem til opgave at skabe bestemte lyde med prototype-værktøjer og evaluering af fordele og ulemper af prototyper.
Praktiske anvendelser, bortset, Lemaitre mener, at undersøgelser af vokal efterligninger og gestik kan også vise sig gavnlig for neuroforskere interesseret i auditiv perception og kognition. Undersøgelser som den ovenstående kunne forbedre vores forståelse af, hvordan lyde, som er kodet i hukommelsen.
Reference:
Rocchesso, D., Lemaitre, G., Susini, P., Ternström, S., & Boussard, P. (2015) “Skitsering af Lyd med Stemme og Gestus,” Interaktioner, 22(1): 38-41.
[Via Akustiske Society of America]
Billede: Udsigt Fra Hinanden/Shutterstock