Sofort, als Dr. Blake Richards hörte ich eine Tiefe Lehre, erkannte er, daß er nicht nur mit einer Methode, die künstliche Intelligenz revolutioniert. Er erkannte, dass sieht etwas Grundsätzliches vom Gehirn des Menschen. Es war Anfang der 2000er Jahre, und Richards leitete den Kurs an der University of Toronto zusammen mit Jeff Хинтоном. Хинтону, das Stand an den Ursprüngen der Entwicklung des Algorithmus, die Welt zu erobern, bot Lesen Einführungskurs über seine Trainingsmethode, вдохновленном durch das menschliche Gehirn.
Stichworte sind hier «вдохновленном Gehirn». Trotz Richards überzeugung, die Wette gegen ihn gespielt. Das menschliche Gehirn, wie sich herausstellte, hat eine wichtige Funktion, die programmiert wird in Deep-learning-algorithmen. Auf der Oberfläche diese algorithmen gegen die zugrunde liegenden biologischen Tatsachen, bereits nachgewiesene, waren Neurowissenschaftler.
Aber was, wenn die Tiefe lernen und das Gehirn tatsächlich kompatibel?
Und hier, in der neuen Studie, in eLife veröffentlicht, Richards, arbeiten mit DeepMind, ein neuer Algorithmus vorgeschlagen, basierend auf der biologischen Struktur von Neuronen im Neokortex. Kortex, die Großhirnrinde, ist die Heimat der höheren kognitiven Funktionen wie logisches denken, Antizipation und flexibles denken.
Die Mannschaft brachte Ihre künstliche Neuronen in ein abgestuftes Netzwerk und hat vor Ihr die Aufgabe der klassischen Computer-Vision — handgeschriebene zahlen bestimmen.
Der neue Algorithmus sehr gut zurechtgekommen. Aber was wichtig ist: er Analysierte Beispiele für den Unterricht, wie es von Deep-learning-algorithmen, gebaut aber wurde komplett auf die grundlegende Biologie des Gehirns.
«Das Tiefe Studium in der biologischen Struktur», schlossen die Wissenschaftler.
Da im Moment dieses Modell ist eine computervariante, Richards hofft übergeben den Staffelstab experimentellen нейробиологам, die überprüfen könnten, ob ein solcher Algorithmus in einem echten Gehirn.
Wenn ja, die Daten können übertragen werden die Computer-Wissenschaftler für die Entwicklung von Massiv parallelen und effektiven algorithmen, auf denen unsere Maschinen arbeiten. Dies ist der erste Schritt in Richtung Verschmelzung der beiden Bereiche in «tugendhafte Reigen» Entdeckungen und Innovationen.
Suche nach Sündenbock
Obwohl Sie haben sicher davon gehört, dass künstliche Intelligenz kürzlich gegen die besten der besten im th, werden Sie kaum wissen, wie genau funktionieren die algorithmen die Grundlage dieser künstlichen Intelligenz.
In zwei Worten, ein tiefes Ausbildung basiert auf einem künstlichen neuronalen Netzwerk mit virtuellen «Neuronen». Wie der höchste Wolkenkratzer, das Netzwerk in einer Hierarchie strukturiert: Low-Level-Neuronen verarbeiten die Eingabe — zum Beispiel horizontale oder vertikale Striche, bilden die Ziffer 4, — und High-Level-Neuronen verarbeiten abstrakte Aspekte 4 Ziffern.
Um das Netz zu trainieren, geben Sie Ihr Beispiele, was Sie suchen. Das Signal erstreckt sich über das Netzwerk (steigt die Treppe des Gebäudes), und jedes Neuron versucht, daraus etwas Grundsätzliches in der Arbeit des Quartetts.
Wie Kinder lernen, zuerst das Netz nicht sehr gut meistert. Es gibt alles, was, Ihrer Meinung nach, wie die Zahl von vier — und ergeben sich Bilder im Geiste Picassos.
Aber genau so verläuft die Ausbildung: der Algorithmus vergleicht die Ausgabe mit der perfekten Eingabe und berechnet den Unterschied zwischen den beiden (sprich: Fehler). Fehler «wieder gelten» über das Netzwerk, indem er jedes Neuron, sagen Sie, ist nicht, was Sie suchen, suchen Sie besser.
Nach Millionen von Beispielen und Wiederholungen, das Netzwerk beginnt zu arbeiten tadellos.
Das Fehlersignal ist äußerst wichtig für die Ausbildung. Ohne effektive «Reverse Verbreitung der Fehler» Netzwerk nicht wissen, welche Ihrer neuronalen falsch. Auf der Suche nach einem Sündenbock künstliche Intelligenz verbessert sich.
Das Gehirn tut das auch. Aber wie? Wir haben keine Ahnung.
Biologische Sackgasse
Offensichtlich mehr: die Lösung mit einer tiefen Ausbildung nicht funktioniert.
Backpropagation Fehler — eine extrem wichtige Funktion. Es erfordert eine bestimmte Infrastruktur für die korrekte Arbeit.
Erstens, jedes Neuron im Netz muss erhalten eine Fehlermeldung. Aber die Neuronen im Gehirn verbunden sind, nur mit mehreren Partnern auf den absteigenden Strömung (wenn überhaupt verbunden). Um Backpropagation funktionierte im Gehirn, die Neuronen auf der ersten Ebene müssen wahrnehmen, die Informationen von Milliarden verbindungen in Downstream-Kanälen — und das ist biologisch unmöglich.
Und obwohl einige Deep-learning-algorithmen passen die lokale Form eines umgekehrten Verteilung Fehler — im wesentlichen zwischen den Neuronen — Sie verlangt, dass Sie die Verbindung nach vorne und hinten symmetrisch war. In den Synapsen des Gehirns dies nicht geschieht fast nie.
Modernere algorithmen passen einige andere Strategie, Umsetzung separate Pfad Feedback, das hilft, die Neuronen lokal, Fehler zu finden. Obwohl es eher biologisch realisierbar, hat das Gehirn kein eigenes Rechnernetz, gewidmet der Suche nach sündenböcken.
Aber es gibt Neuronen mit komplexen Strukturen, im Gegensatz zu homogenen «Kugeln», die derzeit gelten in den tiefen der Ausbildung.
Verzweigte Netz
Wissenschaftler beziehen Ihre Inspiration aus der Pyramidenzellen, die den Kortex des menschlichen Gehirns.
«Die meisten dieser Neurone sind in der Form von Bäumen, deren Wurzeln tief gehen ins Gehirn, und die «äste» an die Oberfläche kommen», sagt Richards. «Bemerkenswert ist, dass die Wurzeln bekommen ein DataSet-Eingaben und andere Zweige».
Neugierig, aber die Struktur der Neuronen ist oft «genau so, wie man» für eine wirksame Lösung der computergestützten Aufgaben. Nehmen Sie zum Beispiel die Verarbeitung von Empfindungen: die Böden der pyramidenförmigen Neuronen befinden sich dort, wo er muss für den Erhalt der Touch-Eingabe, und die Spitzen sind bequem für die übertragung Fehler über das Feedback.
Ob diese komplexe Struktur sein evolutionär Lösung zur Bekämpfung der falsche Signal?
Wissenschaftler haben eine mehrschichtige neuronale Netzwerk auf der Grundlage der bisherigen algorithmen. Aber anstelle von homogenen Neuronen, Gaben Sie Ihr Neuronen der mittleren Schichten — festgeklemmte zwischen ein-und Ausgang — ähnlich der Gegenwart. Während seines Studiums an handgeschriebenen zahlen, Algorithmus zeigte sich viel besser als einlagiges Netz, trotz des Fehlens der klassischen Reverse-Verteilung Fehler. Zellstrukturen selbstständig Fehler erkennen können. Dann, im richtigen Moment, Neuron vereinen beide Informationsquelle für die Suche nach der besten Lösung.
In diesem Fall gibt es eine biologische Basis: Neurobiologen seit langem wissen, dass die Eingabe Zweige des Neurons führen lokale Berechnungen, die integrieren können, mit inversen Signalen Ausbreitung Fehler von ästen Ausgabe. Aber wir wissen nicht, ob so funktioniert das Gehirn eigentlich — so Richards beauftragte нейробиологам herauszufinden.
Darüber hinaus dieses Netzwerk behandelt das Problem, wie die traditionelle Methode der Deep-learning-Weise: verwendet eine mehrschichtige Struktur für die Extraktion nach und nach mehr abstrakten Ideen über jedes auch.
«Es ist ein Merkmal des tiefen Lernens», erklären die Autoren.
Tief Lernende Gehirn
Ohne Zweifel, in dieser Geschichte wird mehr unerwartete Wendungen, weil Computer-Wissenschaftler machen immer mehr biologische Details in den KI-algorithmen. Richards und sein Team betrachten die prognostische Funktion von oben nach unten, wenn die Signale mit den höheren Ebenen direkt beeinflussen, wie die unteren Ebenen reagieren auf die Eingabe.
Die Rückkopplung mit den höheren Ebenen verbessert nicht nur die Signalisierung von Fehlern; es kann auch ermutigen Neuronen des niedrigen Standes der Bearbeitung arbeiten «besser» in Echtzeit, sagt Richards. Solange das Netzwerk nicht übertroffen andere небиологические Deep-learning-Netzwerk. Aber das ist nicht wichtig.
«Ein Training hat einen enormen Einfluss auf die KI, aber bis heute seine Auswirkungen auf die Neurologie war begrenzt», sagen die Autoren der Studie. Jetzt haben Neurowissenschaftler Grund, wird eine experimentelle überprüfung und herauszufinden, ob die Struktur der Neuronen in der Basis von Deep-learning-Algorithmus. Vielleicht in den nächsten zehn Jahren wird für beide Seiten vorteilhaften Austausch von Daten zwischen waren Neurowissenschaftler und Forscher der künstlichen Intelligenz.
Nutzt unser Gehirn eine Tiefe Ausbildung für das Verständnis der Welt?
Ilja Hel