Het eerste wat een architect of ontwerper zal doen bij de start van een project is het produceren van een aantal voorlopige schetsen zijn slechts ruw uit hun ideeën op papier, misschien aangevuld met een computer-aided design software. Maar sound designers hebben geen vergelijkbare tools. Een consortium van Europese onderzoekers op zoek is naar verandering in door het ontwikkelen van een reeks van schetsen hulpmiddelen voor geluid, op basis van spraak en gebaren.
“Als je een architect bent en wilt schets van een huis, u kunt gewoon tekenen op een schetsblok,” de onderzoekers schreven in een samenvatting van hun werk. “Maar wat doe je als je een sound designer en wilt snel schets van het geluid van een nieuwe motor?” De gebruikelijke tools — synthesizers, samplers, en reeksen, bijvoorbeeld — zijn ingewikkeld en vereisen aanzienlijke training te gebruiken. Ze zijn gewoon niet zo eenvoudig, snel en intuïtief als een schetsblok.
Geluid is moeilijk te beschrijven in woorden, dat is waarom de meeste van ons resort aan een combinatie van gebaar en vocale mimicry als, zeg, proberen over te brengen aan iemand anders die een auto gaat vrooom. De menselijke stem is als een ingebouwde synthesizer geluid.
“Mensen herkennen vrij goed wat iemand imiteert,” Guillaume Lemaitre, een onderzoeker aan het Ircam in Parijs, Frankrijk, vertelde Gizmodo via e-mail. “Onze droom-instrument zou een synthesizer die konden we direct contact met [behulp van] onze stem en gebaren, net zoals wat wij doen natuurlijk als we met iemand praten. Ideaal, deze synthesizer zou juist de imitaties op dezelfde manier dat een persoon zou doen, en het maken van geluiden dienovereenkomstig.”
Dat is het doel van het SkAT-VG (Schetsen Audio-Technologieën met Stem en Gebaren), een drie-jaar interdisciplinair samenwerkingsverband tussen vier partners. Ircam is verantwoordelijk voor aspecten van de perceptie van de psychologie, gebaar analyse, verwerking van het signaal, en machine learning. Het Koninklijk Instituut voor Technologie (KTH) in Stockholm, Zweden, is de behandeling van de fonologie, terwijl Iuav, Universiteit van Venetië, Italië, richt zich op het sound design en de geluid synthese. En Genesis, een bedrijf, gevestigd in Aix-en-Provence dat doet geluid studies en ontwikkelt audio-technologieën voor sound design, is belast met de gebruiker studies en prototype-integratie.
Gesponsord
De eerste stap is het verkrijgen van een beter begrip van hoe mensen gebruik van mimiek en gebaren om te communiceren met verschillende geluiden. Dus Lemaitre en zijn Ircam collega ‘ s naar boven afgerond op 50 vrijwilligers en had ze luisteren naar opgenomen geluiden, imiteren de geluiden. Er waren mechanische geluiden (zoals tikken en schrapen), geluiden van de gemeenschappelijke objecten (auto ‘ s, blenders en zagen) en ook computer geluiden als geluidseffecten in video games. Alle deelnemers werden gefilmd met een GoPro camera en uitgerust met een lichaam-het bijhouden van kinect en versnellingsmeters gehecht aan hun polsen. Ze ook gevangen in het proces op video:
Lemaitre geeft toe dat ze hadden een aantal misvattingen te gaan in het onderzoek. Bijvoorbeeld, “eerst dachten Wij dat mensen het tekenen van de baan van een aantal akoestische kenmerken zoals toonhoogte of de intensiteit — met hun handen in de lucht, zoals het verhogen van uw hand te imiteren toonhoogte omhoog gaat,” zei hij. Maar dit bleek niet het geval te zijn. In plaats daarvan, gebaren werden meer gebruikt voor nadruk, in een metaforische manier stereotiep geassocieerd met italiaanse personages in film en televisie. “Het leek alsof ze meer als symbolen die aangeven bepaalde algemene eigenschappen van de geluiden,” Lemaitre zei.
Op basis van dat hij en zijn collega ‘ s concludeerden dat gebaren niet zou bijzonder nuttig zijn als een middel van het nauwkeurig controleren van het gedrag van een synthesizer in real-time, als de leden van het consortium oorspronkelijk dacht dat mogelijk zou zijn. Vocal imitaties zijn veel effectiever voor dat doel. “Stem kan reproduceren nauwkeurig hoger tempo dan gebaren, en is preciezer dan de gebaren bij het reproduceren van complexe ritmische patronen,” aldus Lemaitre overzicht.
De volgende stap is het bouwen van de werkelijke prototypes van de schetsen van instrumenten op basis van wat er tot nu toe geleerd, en test hoe goed ze werken in de echte wereld leven. Lemaitre zei dat het consortium houdt een speciale gebeurtenis dit voorjaar in het zuiden van Frankrijk, in het bijzonder voor sound designers, waardoor ze de taak van het maken van specifieke geluiden met het prototype tools en evaluatie van de voor-en nadelen van de prototypes.
Praktische toepassingen opzij, Lemaitre denkt studies van vocale imitatie en gebaren kunnen ook nuttig zijn voor neurowetenschappers geïnteresseerd in de auditieve perceptie en cognitie. Studies zoals hierboven kon het verbeteren van ons begrip van hoe klinkt zijn gecodeerd in het geheugen.
Referentie:
Rocchesso, D., Lemaitre, G., Susini, P., Ternström, S., & Boussard, P. (2015) “Schetsen Geluid met Stem en Gebaar,” Interactions 22(1): 38-41.
[Via de Acoustical Society of America]
Afbeelding: Bekijk Apart/Shutterstock