Bild: Getty Images
Mittels Gehirn-scanning-Technologie, künstliche Intelligenz und Sprachsynthesizer, haben Wissenschaftler konvertiert Gehirn Muster in verständlichen verbalen Sprache—ein Fortschritt, könnte schließlich denen eine Stimme zu geben, ohne.
Es ist eine Schande, dass Stephen Hawking nicht Leben, um zu sehen, wie er Sie bekommen einen echten kick aus ihm heraus. Die neue speech-system, entwickelt von Forschern an der Neuronalen Acoustic Processing Lab an der Columbia University in New York City, ist etwas, das die Physiker möglicherweise profitiert haben.
Hawking hatte bei der amyotrophen Lateralsklerose (ALS), motor neuron disease nahm, dass seine wörtliche Rede, aber er fuhr Fort, um die Kommunikation mit einem computer und einem Sprach-synthesizer. Durch die Verwendung einer Wange Schalter angebracht, um seine Brille, Hawking war in der Lage, pre-wählen Sie Worte die auf einem computer, die gelesen wurden, von einem Sprach-synthesizer. Es war ein bisschen langweilig, aber es erlaubt Hawking produzieren rund ein Dutzend Worte pro minute.
Aber vorstellen, wenn Hawking nicht haben, um manuell auszuwählen und lösen die Worte. In der Tat, einige Personen, ob Sie ALS, locked-in-Syndrom, oder erholt sich von einem Schlaganfall, kann nicht über die motorischen Fähigkeiten, die erforderlich sind, um einen computer Steuern, auch durch nur ein zwicken in die Wange. Im Idealfall, einem künstlichen Stimmen-system würde die Erfassung eines einzelnen Gedanken, die direkt für die Produktion der Rede, die Beseitigung der Notwendigkeit, einen computer Steuern.
Neue Forschung veröffentlichte heute in der Wissenschaftlichen Fortschritte bringt uns einen wichtigen Schritt näher an das Ziel, sondern die Erfassung eines einzelnen internen Gedanken zu rekonstruieren, die Rede ist, verwendet es die Gehirn-Muster erzeugt beim hören von Sprache.
Zu entwickeln, eine solche Rede neuroprothese, Neurowissenschaftler Nima Mesgarani und seine Kollegen kombinierten die jüngsten Fortschritte in der Tiefe lernen mit Sprachsynthese-Technologien. Ihre daraus resultierende brain-computer-interface, wenn auch noch rudimentär, erfasst Gehirn-Muster direkt aus dem auditorischen cortex, welche dann dekodiert, indem ein KI-powered vocoder oder Sprach-synthesizer zum erzeugen von verständlichen Sprache. Die Rede war sehr roboterhaft klingen, aber fast drei Viertel der Zuhörer konnten erkennen, die Inhalte. Es ist ein spannendes Voraus—man, das könnte eventuell helfen, Menschen, die verloren haben, die Kapazität für Sprache.
Um klar zu sein, Mesgarani ist neuroprosthetic-Gerät ist nicht die übersetzung eines einzelnen verdeckten Rede—, ist, die Gedanken in unseren Köpfen, auch als imaginierte Rede—direkt in Worte zu fassen. Leider sind wir noch nicht ganz dort in Bezug auf die Wissenschaft. Sondern das system erfasst einen individuellen unverwechselbaren kognitiven Reaktionen als Sie hörten, um Aufnahmen von Menschen zu sprechen. Ein tiefes neuronales Netz war dann in der Lage, zu decodieren oder zu übersetzen, diese Muster, so dass das system zu rekonstruieren Rede.
“Diese Studie setzt einen neuen trend in der Anwendung von deep learning Techniken zur Dekodierung neuronaler Signale” Andrew Jackson, professor für neuronale Schnittstellen an der Universität Newcastle, der nicht in die neue Studie, sagte Gizmodo. “In diesem Fall, die neuronale Signale werden aufgezeichnet, von der hirnoberfläche des Menschen während der Epilepsie-Chirurgie. Hören die Teilnehmer verschiedene Wörter und Sätze, die gelesen werden durch die Akteure. Neuronale Netze trainiert sind, lernen die Beziehung zwischen Gehirn Signale und Geräusche, und als ein Ergebnis lässt sich dann rekonstruieren, die verständlich Reproduktionen der Wörter/Sätze nur auf das Gehirn.”
Epilepsie-Patienten ausgewählt wurden für die Studie, weil Sie oft zu Unterziehen, Gehirn-Chirurgie. Mesgarani, mit Hilfe von Ashesh Dinesh Mehta, ein Neurochirurg an Northwell Gesundheit Arzt Partner Neuroscience Institute und co-Autor der neuen Studie, rekrutiert fünf freiwillige für das experiment. Das team verwendet invasive electrocorticography (ECoG) zur Messung der neuronalen Aktivität als die Patienten hörten continuous speech sounds. Die Patienten hörten, zum Beispiel, um Sprecher rezitieren Ziffern von null bis neun. Ihr Gehirn Muster wurden dann wiederum in den AI-vocoder aktiviert, wodurch die synthetisierte Rede.
Die Ergebnisse waren sehr Roboter-klingende, aber doch ziemlich verständlich. In tests konnten die Hörer richtig identifizieren gesprochene Ziffern rund 75 Prozent der Zeit. Sie könnten sogar sagen, ob der Sprecher Männlich oder weiblich ist. Nicht schlecht, und ein Ergebnis, dass selbst kam als “überraschung” zu Mesgaran, als er sagte Gizmodo in einer E-Mail.
Aufnahmen von der Sprachausgabe kann hier gefunden werden (die Forscher untersuchten verschiedene Techniken, aber das beste Ergebnis kam aus der Kombination von tiefen neuronalen Netzen mit dem vocoder).
Die Verwendung einer Sprach-synthesizer-in diesem Kontext-im Gegensatz zu einem system, das match zu rezitieren, pre-recorded Worte, wichtig war Mesgarani. Als er erklärte, Gizmodo, es ist mehr Rede als nur darum, die richtigen Worte zusammen.
“Da das Ziel dieser Arbeit ist die Wiederherstellung der Sprech-Kommunikation in diejenigen, die die Fähigkeit verloren haben zu sprechen, haben wir versucht zu lernen, die direkte Zuordnung vom signal des Gehirns an die Rede, die den Klang selbst,” er sagte Gizmodo. “Es ist möglich, auch decodieren Phoneme [distinkte Einheiten von sound] oder Worte, aber Sprache hat viel mehr Informationen als nur die Inhalte—wie der Sprecher [mit Ihrer ausgeprägten Stimme und Stil], intonation, emotionalen Ton, und so weiter. Daher ist es unser Ziel in diesem besonderen Papier wurde zum wiederherstellen des Klangs.”
Blick in die Zukunft, Mesgarani möchte, zu synthetisieren, mehr komplizierte Wörter und Sätze und erfassen Gehirn Signale von Menschen, die einfach denken oder sich vorstellen, die Handlung zu sprechen.
Jackson war sehr beeindruckt von der neuen Studie, aber er sagte, es ist noch nicht klar, ob dieser Ansatz wird direkt auf Gehirn-computer-Schnittstellen.
“In der Papier -, der decodierten Signale auf tatsächliche Worte hörte, die durch das Gehirn. Um nützlich zu sein, ein Kommunikations-Gerät müsste Dekodieren Wörter, die sind gedacht, durch den Benutzer,” Jackson sagte Gizmodo. “Zwar gibt es oft einige überschneidungen zwischen den Bereichen Gehirn, hören, sprechen und sich vorzustellen, Rede, wir wissen noch nicht genau, wie ähnlich sich die zugehörigen Gehirn signalisiert wird.”
William Tatum, ein Neurologe an der Mayo-Klinik, die ebenfalls nicht in die neue Studie, sagte, dass die Forschung ist wichtig, es ist die erste künstliche Intelligenz zu rekonstruieren Rede von der Gehirn-Wellen beteiligt sind, die in der Generierung bekannte akustische Reize. Die Bedeutung ist bemerkenswert, “weil es verbessert die Anwendung von deep learning in der nächsten generation besser gestaltet Rede-produzierenden systems”, sagte er Gizmodo. Das sagte, fühlte er die Größe der Stichprobe von Teilnehmer zu klein war, und dass die Verwendung der extrahierten Daten direkt aus dem menschlichen Gehirn während der Operation nicht ideal ist.
Eine weitere Einschränkung der Studie ist, dass die neuronalen Netzwerke, um für Sie mehr tun, als nur zu reproduzieren Worten von null bis neun, haben würde, geschult zu werden, auf eine große Anzahl von Gehirn Signale von jedem Teilnehmer. Das system ist Patienten-spezifische, wie wir alle produzieren unterschiedliche Gehirn-Muster, wenn wir hören Rede.
“Es wird interessant sein in Zukunft, um zu sehen, wie gut die Decoder ausgebildet für eine person übertragung auf andere Personen”, sagte Jackson. “Es ist ein bisschen wie die frühen Spracherkennungssysteme, die benötigt werden einzeln ausgebildet, indem der Benutzer, im Gegensatz zu heutigen Technologien wie Siri und Alexa, das kann Sinn machen, von der jeder Stimme, wieder mit neuronalen Netzen. Nur die Zeit wird zeigen, ob diese Technologien eines Tages das gleiche tun, ist für das Gehirn Signale.”
Kein Zweifel, es gibt noch viel Arbeit zu tun. Aber das neue Papier ist ein ermutigender Schritt in Richtung der Leistung von implantierbaren Rede Neuroprothetik.
[Wissenschaftliche Berichte]
Teilen Sie Diese Geschichte