Die erste Sache, die ein Architekt oder Grafik-designer wird am Anfang des Projekts ist die Herstellung einiger Skizzen — nur um grobe Ihre Ideen auf Papier, vielleicht ergänzt mit computer-aided-design-software. Aber sound-Designer nicht haben ähnliche tools. Ein Konsortium von europäischen Forschern sucht zu ändern, dass durch die Entwicklung einer Reihe von Skizzen tools für sound, basierend auf Stimme und gesten.
“Wenn Sie ein Architekt und skizzieren möchten ein Haus haben, können Sie einfach ziehen Sie es auf einem Skizzenblock,” schreiben die Forscher in einer Zusammenfassung Ihrer Arbeit. “Aber was tun Sie, wenn Sie ein sound-designer und möchten schnell eine Skizze der Klang der neuen Motorrad?” Die üblichen Werkzeuge — Synthesizer, Sampler und Sequenzen, zum Beispiel — sind kompliziert und erfordert viel training zu verwenden. Sie sind nur nicht so einfach, schnell und intuitiv wie ein sketch pad.
Sound ist mit Worten schwer zu beschreiben, das ist, warum die meisten von uns Rückgriff auf eine Kombination von Geste und vocal-Mimikry, wenn, sagen wir, zu vermitteln versuchen, jemand anderes, dass ein Auto geht vrooom. Die menschliche Stimme ist wie eine integrierte sound-synthesizer.
“Die Menschen erkennen kann, ziemlich gut, was eine person imitiert,” Guillaume Lemaitre, ein Forscher am Ircam in Paris, Frankreich, sagte Gizmodo per E-Mail. “Unser Traum tool wäre ein synthesizer, konnten wir direkt interagieren, [mit] unsere Stimme und gesten, nur als das, was wir tun, natürlich, wenn wir mit jemandem sprechen. Idealerweise sollte dieser synthesizer würde verstehen, die Imitationen der gleichen Art und Weise eine person tun würde, und erstellen entsprechend klingt.”
Das ist das Ziel der SkAT-VG (Skizzieren Audio-Technologien mit Stimme und Gesten), ein drei-Jahres-interdisziplinäres Kooperationsprojekt zwischen vier Partner. Ircam ist verantwortlich für die Aspekte, bei denen der Wahrnehmungspsychologie, eine Geste, Analyse -, signal-Verarbeitung und machine learning. Das Royal Institute of Technology (KTH) in Stockholm, Schweden, ist der Umgang mit der Phonetik, während Iuav Universität von Venedig, Italien, konzentriert sich auf das sound-design und sound-Synthese. Und Genesis, ein Unternehmen mit Sitz in Aix-en-Provence, führt sound studies und entwickelt audio-Technologien für sound-design, ist zuständig für die Benutzer Studien und Prototypen integration.
Gesponsert
Der erste Schritt ist, um ein besseres Verständnis von, wie die Menschen mimik und gestik zu kommunizieren anders klingt. So Lemaitre und seine Ircam Kollegen aufgerundet 50 Freiwilligen hatte und Sie hören aufgenommene sounds, dann imitieren diese Geräusche. Es wurden mechanische Geräusche (wie ein klopfen und kratzen), nur die Geräusche der gemeinsame Objekte (Autos, Mixer und Sägen) und auch computer-sounds, wie Sie sound-Effekte im video-Spiele. Alle Teilnehmer wurden gefilmt mit einer GoPro-Kamera, ausgestattet mit einem body-tracking-kinect-und Beschleunigungssensoren befestigt, um Ihre Handgelenke. Sie gewann den Prozess auf video:
Lemaitre gesteht, dass Sie hatte einige Missverständnisse gehen in der Studie. Zum Beispiel, “zuerst dachten Wir, dass die Menschen ziehen würde, die Flugbahn einige akustische Eigenschaften — wie Tonhöhe oder die Intensität, mit Ihren Händen in der Luft, wie die hand zu heben, Sie zu imitieren pitch nach oben gehen”, sagte er. Aber dies war nicht der Fall zu sein. Stattdessen gesten verwendet wurden, mehr für Wert, in einem metaphorischen Mode Stereotyp zugeordnet italienische Charaktere in film und Fernsehen. “Sie schien mehr wie Symbole, die angeben, dass bestimmte Allgemeine Eigenschaften von sounds, die” Lemaitre sagte.
Basierend auf, dass er und seine Kollegen zu dem Schluss, dass gesten wäre nicht besonders nützlich als ein Mittel, die präzise Steuerung des Verhaltens eines Synthesizers in Echtzeit, wie die Mitglieder des Konsortiums ursprünglich dachten, es wäre möglich. Gesangs-Imitationen sind weit effektiver für diesen Zweck. “Voice reproduzieren können genau höheren tempi als gesten, und ist genauer, als gesten bei der Reproduktion komplexe rhythmische Muster,” nach Lemaitre Zusammenfassung.
Der nächste Schritt ist der Aufbau aktuellen Prototypen des skizzieren tools, basierend auf dem, was bisher gelernt, und testen Sie, wie gut Sie arbeiten unter realen Bedingungen. Lemaitre sagte das Konsortium halten ein besonderes Ereignis in diesem Frühjahr im Süden von Frankreich, speziell für sound-Designer, indem Sie Ihnen die Aufgabe, bestimmte sounds mit der Prototyp-Werkzeuge und Bewertung der vor-und Nachteile der Prototypen.
Praktische verwendet beiseite, Lemaitre denkt Studien der Gesangs-Imitationen und gesten könnte sich als nützlich erweisen, für Neurowissenschaftler interessiert in der auditiven Wahrnehmung und Erkenntnis. Studien wie die oben könnte zu einem besseren Verständnis, wie die Klänge verschlüsselt im Speicher.
Referenz:
Rocchesso, D., Lemaitre, G., Susini, P., Ternström, S., & Boussard, S. (2015) “Skizzieren Sound mit Stimme und Geste,” Interaktionen 22(1): 38-41.
[Über Acoustical Society of America]
Bild: Blick Auseinander/Shutterstock