Geoffrey Hinton var en af grundlæggerne af begrebet deep learning, vinder af Turing award i 2019, og en Google-ingeniør. I sidste uge, under en developer conference-i/O, Wired har interviewet ham og diskuterede hans fascination af hjernen og evnen til at simulere den computer, der er baseret på neurale struktur i hjernen. I lang tid har disse ideer blev betragtet som dum. Interessant og fascinerende samtale om bevidsthed, fremtidige planer af Hinton, og om, hvorvidt vi kan lære computere at drømme.
Hvad med neurale netværk?
Lad os starte med de tidspunkter, hvor du skrev din meget første, meget indflydelsesrig artikel. Alle sagde: “Ideen er smart, men faktisk vil vi ikke være i stand til at designe computere på den måde.” Forklar, hvorfor du insisterede på hende, og hvorfor du var så sikker på, at han havde fundet noget, der er vigtigt.
Det forekom mig, at hjernen kan ikke arbejde for nogen anden måde. Han er forpligtet til at arbejde, udforske magt links. Og hvis du ønsker at tvinge enheden til at gøre noget smart, har du to muligheder: du kan enten programmeret eller den lærer. Og folk var ikke programmeret, så vi var nødt til at lære. Denne metode nødt til at være korrekt.
Forklare, hvad et neuralt netværk. Forklare den oprindelige idé.
Du tager en relativt simpel forarbejdning elementer, som er meget svagt ligner neuroner. De har indgående forbindelser, og hver forbindelse har vægt, og denne vægt kan variere i læringsprocessen. Hvad gør en neuron tager handling på de forbindelser, der er multipliceret med vægtene summer dem og beslutter derefter, om du vil sende data. Hvis beløbet er stort nok, det gør den output (output). Hvis beløbet er negativt, det sender ikke noget. Det er alt. Du behøver kun at knytte en sky af disse neuroner med vægte og regne ud, hvordan at ændre disse vægte, og så vil de gøre noget. Det eneste spørgsmål er, hvordan du vil ændre på i vægt.
Hvornår blev du klar over, at dette er en idé om, hvordan hjernen fungerer?
Åh, Ja, alle som oprindeligt tænkt. Var designet til at minde hjernen til at arbejde.
Så, på et tidspunkt i din karriere, du begynder at forstå, hvordan hjernen virker. Måske du var tolv år gammel, måske tyve-fem. Når du har besluttet at forsøge at simulere de computere i form af hjernen?
Ja med det samme. Det var hele pointen. Hele ideen var at skabe en lærende enhed, der lærer som hjerne, i henhold til de ideer om, hvordan hjernen lærer ved at ændre styrken af forbindelser. Og det var ikke min idé, den samme idé var fra Turing. Selvom Turing opfandt en stor del af den standard foundations of computer science, han troede, at hjernen var en uorganiseret enhed med tilfældige vægte, og der anvendes forstærkning for at lære at ændre de forbindelser, så kunne lære noget. Og han mente, at den bedste måde at intelligens.
Og du har fulgt Turing ‘ s idé om, at den bedste måde at skabe en bil til at designe det i henhold til typen af den menneskelige hjerne. Så, de siger, fungerer den menneskelige hjerne, så lad os skabe en sådan maskine.
Ja, tænkte så, ikke bare Turing. Mange troede, at så.
Når det var mørke tider? Når der er sket, så at andre mennesker, der arbejdede på dette, og tænkte tanken en Turing trofaste, begyndte at trække sig tilbage, og du fortsatte med at bøje den linje?
Det var altid en håndfuld mennesker, der troede, uanset hvad, især inden for psykologi. Men blandt dataloger, jeg tror, i 90’erne, viste det sig, at datasættet var ganske lille, men computere var ikke så hurtigt. Og med små datasæt, andre metoder, specielt support vector machines, arbejdede en lille smule bedre. De er ikke så meget plaget af støj. Så det var trist, fordi i 80’erne har vi udviklet den metode, der er tilbage formering [tilbage formering back — propagation of error, er meget vigtigt for neurale netværk]. Vi troede, at det vil løse alt. Og var forvirret, at han ikke har løst noget som helst. Spørgsmålet var virkelig til at skalere, men da vi vidste ikke, at.
Hvorfor tror du, at det ikke virker?
Vi troede, at det virker ikke, fordi vi ikke var helt den rigtige algoritmer, og ikke helt det rigtige objektiv funktion. Jeg har længe tænkt, at det er fordi, vi prøvede på at gennemføre uddannelsen under opsyn, når du ved at markere de data, og vi var nødt til at lære uden opsyn, når læring finder sted i henhold til uden etiketter. Det viste sig, at problemet var for det meste i omfang.
Dette er interessant. Det viser sig, at problemet var, at du havde utilstrækkelige data. Du tror, at det er den korrekte mængde af data, men ikke mærket. Så, bare du misforstår problemet?
Jeg troede fejlen var, at vi generelt bruger etiketten. De fleste af din læring sker uden brug af nogen mærker, du bare forsøger at simulere struktur i data. Jeg faktisk stadig tror det. Jeg tror, at efterhånden som computere bliver hurtigere, hvis din computer er hurtig nok, så for ethvert datasæt af en given størrelse er bedre til at udføre træning uden supervision. Og så snart du er færdig med at lære uden tilsyn, vil du være i stand til at lære med færre etiketter.
Så, i 1990’erne, og du fortsætter med din forskning, du i den akademiske verden, har du stadig ikke offentliggjort, men ikke løse store problemer. Har du nogensinde har været et tidspunkt, hvor du sagde, “Ved du hvad, nok om dette. Jeg vil prøve at gøre noget andet”? Eller du lige har fortalt dig selv, at du vil fortsætte med at engagere sig i dyb læring, som er, at begrebet dyb læring, dyb neurale netværk, læring, læs mere her].
Ja. Noget som dette, bør arbejde. Jeg mener, at forbindelserne i hjernen på en eller anden måde lære, vi skal bare finde ud af hvordan. Og måske er der mange forskellige måder at styrke forbindelser i læringsprocessen; hjernen bruger et af dem. Der kan være andre måder. Men har bare brug for noget, der kan styrke disse forbindelser i undervisningen. Aldrig havde en tvivl om.
Du har aldrig tvivlet på. Da det blev svarende til, hvad det virker?
En af de største skuffelser i 80’erne, var, at hvis vi har et netværk med mange skjulte lag, var vi ikke i stand til at træne dem. Dette er ikke helt sandt, fordi du kan træne relativt enkle processer, der kan lide at skrive i hånden. Men vi vidste ikke, hvordan man kan træne de fleste dybt neurale netværk. Og et eller andet sted i 2005, jeg har opfundet en ny måde at træne dybe netværk. Data, du indtaster, siger, pixel, og uddannet flere detektorer dele, der er simpelthen ikke godt forklaret, hvorfor pixels var lige, hvad vi er. Så du fodrer de dele data detektorer, og lære et andet sæt af detektorer, således at vi kunne forklare, hvorfor visse detektorer dele synes at være en specifik sammenhæng. Du fortsætter med at træne lag på lag. Men det mest interessante var, at det var muligt at nedbryde matematisk og bevise, at hver gang du lærer et nyt lag, så du behøver ikke nødvendigvis perfekt data model, men du vil have til at beskæftige sig med en række af hvor god din model. Dette udvalg er at få det bedre med hver ekstra lag.
Hvad mener du med vifte af hvor god er din-modellen?
Når du har fået den model, man kunne stille spørgsmålet: “Hvordan usædvanligt er denne model finder data?”. Du viser hende data og stille spørgsmålet: “synes Du det hele er så, som foreslået, eller er det usædvanligt?”. Og dette kan måles. Og jeg ønskede at få en model, god model, der ser på data, og siger, “Ja, Ja. Jeg vidste det. Det er ikke overraskende”. Det er altid svært at beregne præcist, hvor usædvanlige modellen ser på de data. Men det er muligt at beregne størrelsesordenen af denne. Vi kan sige, at den model, der vil finde disse data mindre usædvanligt end disse. Og det var muligt at vise, at efterhånden som du tilføjer nye lag til detektorer detaljer model er dannet, og med hver ekstra lag, når det finder data, den vifte af forståelse af, hvor usædvanligt det mener de data bliver bedre.
Det viser sig, om 2005, at du har udført denne matematiske gennembrud. Når du begynder at få de rigtige svar? Hvilke data har du arbejde? Første pause, du får fra den tale, data, højre?
Det var bare håndskrevne tal. Meget simpelt. Og omkring samme tidspunkt begyndte udviklingen af en GPU (graphics processor). Og de mennesker, der var involveret i neurale netværk er begyndt at bruge GPU ‘ en i 2007. Jeg var en meget god studerende, der er begyndt at bruge GPU ‘ en til at søge efter veje på luftfotos. Han skrev den kode, som derefter blev vedtaget af andre studerende, der bruger GPU ‘ en for anerkendelse af fonemer i tale. De brugte denne idé forudgående uddannelse. Og når uddannelsen var færdig, bare hænge mærket på toppen og bruges til back-propagation. Det viste sig, at du kan skabe en meget dyb netværk, der har været pre-uddannet på denne måde. Og så kan du ansøge tilbage-formering, og det der rent faktisk virkede. I talegenkendelse, det fungerede perfekt. I første omgang var det dog ikke meget bedre.
Det var bedre kommercielt tilgængelige talegenkendelse? Gik det bedste videnskabelige arbejde med talegenkendelse?
I et relativt lille datasæt kaldet TIMIT, det var lidt bedre end den bedste faglige arbejde. IBM har også gjort en masse arbejde.
Meget hurtigt indså folk, at alt dette — da det omgår standard model, som blev udviklet for 30 år — vil fungere fint, hvis det er en lidt for at udvikle sig. Mine kandidater fik i Microsoft, IBM og Google, Google og meget hurtigt etableret en arbejdsgruppe talegenkender. I 2012 er dette arbejde, der blev gjort tilbage i 2009, fik på Android. Android er pludselig blevet meget bedre til at genkende tale.
Fortæl mig om en tid, hvor du har gemt disse ideer for 40 år udgivet om dette emne i 20 år, pludselig uden deres kolleger. Hvordan det føles?
Godt, på det tidspunkt, jeg holdt disse ideer på bare 30 år!
Sandt, sandt!
Det var en vidunderlig følelse, at alt er endelig blevet til et reelt problem.
Kan du huske, da du første gang fik data, der viser det?
Nej.
Okay. Så, er du klar over, at det virker med talegenkendelse. Når du er begyndt at anvende neurale netværk til andre problemer?
Ved første, vi begyndte at anvende dem til alle mulige andre problemer. George Dahl, med hvem vi i første omgang arbejdede på talegenkendelse, blev brugt til at forudsige, om et molekyle, der er i kontakt med noget og blive god medicin. Og der var en konkurrence. Han brugte bare vores standard teknologi, der er designet til talegenkendelse, til at forudsige aktiviteten af narkotika og vandt i denne konkurrence. Det var et tegn på, at vi laver noget meget alsidig. Så var der de studerende, der sagde, “Ved du, Jeff, denne ting kommer til at arbejde med billed-genkendelse, og FEI-FEI Li skabt en egnet datasæt for denne. Der er en offentlig konkurrence, så lad os gøre noget.”
Vi fik de resultater, der var langt over standard computer vision. Det var i 2012.
Der er, i disse tre områder, du Excel: modellering af kemiske stoffer, tale, stemme. Hvis du har slået fejl?
Du forstår, at tilbageslag er midlertidige?
Godt, hvad der adskiller den region, hvor det virker til de hurtigste, og de områder, hvor der er mere tid, der kræves? Det ser ud til, at visuel forarbejdning, talegenkendelse og nogle form af grundlæggende menneskelige ting, som vi gør med sansning, der anses for at være den første til at overvinde barrierer, højre?
Ja og nej, fordi der er andre ting, vi gør godt — de samme motoriske færdigheder. Vi er meget godt i management færdigheder. Vores hjerner er absolut egnet til at. Og først nu er det neurale netværk, der begynder at konkurrere med de bedste i andre teknologier til at. De vil vinde i den sidste ende, men nu er de kun starte for at vinde.
Jeg tror, de tænker, abstrakt tænkning — den sidste ting vi skal lære. Jeg tror, de vil være blandt de sidste ting, som disse neurale netværk kan lære at gøre.
Og så fortsætter du med at sige, at neurale netværk i sidste ende vil vinde overalt.
Godt, vi har et neuralt netværk. Alt det, vi kan, så kan de også.
Sandt, men den menneskelige hjerne er ikke den mest effektive computer, der nogensinde er skabt.
Absolut ikke.
Helt sikkert ikke min menneskelige hjerne! Er der en måde at simulere de maskiner, der vil være meget mere effektiv end den menneskelige hjerne?
Fra det synspunkt, at filosofi har jeg ingen indvendinger mod den idé, at det kan være alle helt anden måde at gøre det på. Måske hvis du starter med logik, forsøge at automatisere logik, kommer op med en finurlig bevis af teoremer vil argumentere, og derefter beslutte, hvad det er, gennem argumentation, du kommer op til en visuel perception, det kan være, at denne tilgang vil vinde. Men ikke endnu. Jeg har ingen filosofiske indvendinger mod en sådan sejr. Vi ved bare, at hjernen er i stand til.
Men der er ting, som vores hjerne ikke er i stand til at gøre godt. Dette betyder, at neurale netværk kan ikke gøre dem godt?
Muligvis, Ja.
Og der er et separat problem, som er, at vi ikke fuldt ud forstår, hvordan neurale netværk, arbejde, højre?
Ja, vi kan virkelig ikke forstå, hvordan de arbejder.
Vi forstår, hvordan neurale netværk arbejder med en top-down tilgang. Dette er det grundlæggende element af neurale netværk, som vi ikke forstår. Forklare dette, og så lad mig stille dig følgende spørgsmål: hvis vi ved, hvordan det hele fungerer, hvordan det så virker?
Hvis du ser på moderne computer vision-systemer, de fleste af dem er for det meste rettet fremad; de har ikke brug feedback-forbindelser. Og der er noget andet i det moderne computer vision-systemer, som er meget modtagelige for kontradiktorisk fejl. Du kan let ændre et par pixels, og hvad der var Panda billede, og stadig ser ud til at du er præcis som Panda, bliver pludselig til en struds i forståelsen af det neurale netværk. Det er klart, at den metode til at flytte pixels er designet på en måde at narre netværk til at tænke sit om mig. Men faktum er, at for dig er det stadig en Panda.
I første omgang troede vi, at det virker fantastisk. Men så, når man står med det faktum, at de kigger på Panda, og vi er overbeviste om, at dette struds, vi fik bekymret. Og jeg tror at en del af problemet er, at de ikke forsøger at rekonstruere fra en visning på højt niveau. De forsøger at lære i isolation, når undersøgelsen kun lag af detektorer af dele og hele formålet er at ændre vægt med at blive bedre til at finde det korrekte svar. For nylig i Toronto opdagede vi, eller Nick frost fandt, at hvis du tilføjer genopbygning, forbedret modstand mod kontradiktorisk fejl. Jeg tror, at det menneskelige øje er brugt til uddannelse genopbygning. Og som vi kan lære, hvilket gør den genopbygning, vi er meget mere modstandsdygtig over for fjendtlige angreb.
Tror du, at nedadgående kommunikation i et neuralt netværk giver dig mulighed for at kontrollere om noget rekonstruiruet. Du kontrollere og sørg for, at det er en Panda, ikke en struds.
Jeg tror, det er vigtigt, Ja.
Men videnskabsfolk, der studerer hjernen ikke er enig?
Forskere af hjernen ikke argumentere med, at hvis du har to områder af barken på den måde opfattelse, vil altid være omvendt-forbindelse. De argumenterer med, at, hvad gør den. Dette kan være et behov for opmærksomhed, for at lære eller for genopbygning. Eller for alle tre.
Og så behøver vi ikke vide, hvad feedback er. Du kan opbygge dit nye neurale netværk, der er baseret på den antagelse, at… nej, ikke endnu, at du bygge feedback, fordi det er en forudsætning for genopbygning af de neurale netværk, også selvom de ikke rigtig forstår, hvordan hjernen fungerer?
Ja.
Er det ikke det trick? Jeg mener, hvis du forsøger at gøre noget, som hjernen, men ikke sikker på, at hjernen gør det?
Ikke rigtig. Jeg kan ikke gøre for computational neuroscience. Jeg forsøger ikke at skabe en model af hjernen. Jeg ser på hjernen og sige, “Dette virker, og hvis vi ønsker at gøre noget andet, der virker, er vi nødt til at se og blive inspireret af det.” Vi er inspireret af neuroner, og er ikke at bygge et neurale model. Dermed er hele den model, vi har brugt neuroner, der er inspireret af det faktum, at neuroner har mange forbindelser, og at de varierer i vægt.
Dette er interessant. Hvis jeg var en computer videnskabsmand, og arbejdede på neurale netværk og ønskede at komme rundt Jeff Hinton, en mulighed ville være opførelsen af den faldende kommunikation og basere det på andre modeller af hjernen videnskab. Baserer på læring og ikke på genopbygning.
Hvis der var en bedre model, du ville have vundet. Ja.
Det er meget interessant. Lad os touch på et mere Generelt tema. Så, neurale netværk, der kan løse alle mulige problemer. Er der mysterierne i den menneskelige hjerne, der ikke kan eller ikke vil dække neurale netværk? For eksempel, følelser.
Nej.
Så, kærlighed, vil være at rekonstruere et neuralt netværk? Bevidsthed kan rekonstrueres?
Præcis. Når du regne ud, hvad disse ting betyder. Vi er af den neurale netværk, right? Bevidsthed er et særdeles interessant emne for mig. Men… folk ikke rigtig ved, hvad der menes med dette ord. Der er masser af forskellige definitioner. Og jeg tror, det er en temmelig videnskabelige betegnelse. Så hvis 100 år siden du spurgte folk: hvad er livet? De ville sige, “Godt, levende ting har livskraft, og når de dør, livskraften forlader dem. Dette er forskellen mellem de levende og de døde, enten har du livskraft eller ikke.” Nu har vi vitalitet, vi mener, at dette begreb blev introduceret til videnskab. Og som du begynder at forstå biokemi og molekylær biologi, vil du ikke brug for den livskraft, vil du forstå, hvordan det hele fungerer virkelig. Og det samme tror jeg sker for at bevidsthed. Jeg mener, at bevidsthed er et forsøg på at forklare psykiske fænomener med brug af en bestemt enhed. Og denne enhed, det er ikke nødvendigt. Så snart du kan forklare hende, vil du være i stand til at forklare, hvordan vi gør alle de ting, der gør mennesker bevidste væsener, forklare de forskellige betydninger af bevidsthed, uden at inddrage en bestemt enhed.
Det viser sig, at der ikke er nogen følelser, at det ville være umuligt at skabe? Der er ingen troede, at det ville være umuligt at skabe? Der er ikke noget, hvad kan det menneskelige sind, der teoretisk ville det være umuligt at genskabe en velfungerende neurale netværk, når vi virkelig forstår, hvordan hjernen fungerer?
Noget som sang John Lennon i en af hans sange.
Du 100% sikker?
Nej, jeg er bynovec, så vær sikker på 99,9%.
Nå, hvad er så disse er 0.01%?
Godt, vi kunne, for eksempel, til at være en del af en stor simulering.
Sandt. Så, hvad kan vi lære om hjernen fra vores arbejde med computere?
Godt, jeg tror, fra hvad vi har lært i de sidste 10 år, det er interessant, at hvis du tager systemet med milliarder af parametre og mål funktion — for eksempel, at udfylde et hul i rækken af ord — det virker bedre, end det burde. Det virker meget bedre, end man kunne forvente. Du måske tror, og mange mennesker inden for traditionel forskning om emnet AI ville have troet, at du kan tage systemet med en milliard muligheder, starte hende på tilfældige værdier, for at måle hældningen på den objektive funktion, og derefter rette det, så som at forbedre den objektive funktion. Man skulle tro, at en dårlig algoritme vil uundgåeligt komme til at sidde fast. Men nej, det viser sig, at det er virkelig god algoritme. Og jo større skala, jo bedre fungerer de. Og denne opdagelse var hovedsageligt empirisk. Der var nogle teorien bag alt dette, selvfølgelig, men opdagelsen var empirisk. Og nu, da vi fandt ud af, synes det mere sandsynligt, at hjernen beregner gradienten af nogle objektive funktion, og opdateringer vægt og kraft af synapser til at reagere på denne gradient. Vi skal bare finde ud af, hvad dette mål funktion, og hvordan det bliver værre og værre.
Men vi forstår ikke det med eksempel på hjernen? Forstår ikke den opdatering af vægtene?
Det var en teori. Lang tid siden troede folk, det er muligt. Men midt i altid var der nogle dataloger, der har sagt, “Ja, men tanken om, at det hele er tilfældigt, og uddannelse er på grund af den gradient descent ikke arbejde med en milliard muligheder, du vil have til at forbinde en masse viden.” Nu ved vi, at det er det ikke. Du skal blot indtaste den tilfældige parametre, og lære.
Lad os gå lidt videre. Når vi lærer mere og mere, vil vi formentlig fortsætte med at lære mere og mere om, hvordan hjernen fungerer, fordi vi vil gennemføre massive test af modeller baseret på vores ideer om, hvilke funktioner i hjernen. Når vi bedre forstår om det øjeblik, hvor vi i virkeligheden rekonstruere deres hjerner til at blive meget mere effektive biler?
Hvis du virkelig forstår, hvad der sker, vi kan forbedre nogle ting som uddannelse. Og jeg tror, at vi vil forbedre. Det ville være meget mærkeligt, endelig forstår, hvad der sker i din hjerne, hvordan det lærer, og til at tilpasse sig, så som at lære bedre.
Hvordan tror du, et par år, bruger vi, hvad vi ved om hjernen og det arbejde, dybt at lære at skifte uddannelse? Hvordan ville du ændre klasser?
Jeg er ikke sikker på, at der i et par år på at lære en masse. Jeg tror, at det at skifte uddannelse vil tage mere tid. Men hvis du taler om det, [digital] assistenter blive temmelig smart. Og når de assistenter, som vil være i stand til at forstå samtaler, de vil være i stand til at tale med børn og opdrage dem.
Og teoretisk, hvis vi bedre kan forstå hjernen, vil vi være i stand til at programmere assistenter, så de bedre kan tale med deres børn, baseret på, hvad de har lært.
Ja, men jeg havde ikke rigtig tænkt på. Jeg gør yderligere. Men alt dette synes helt magen til sandheden.
Hvis vi kan forstå drømme?
Ja, jeg er meget interesseret i at drømme. Så interesseret, at jeg har mindst fire forskellige teorier om drømme.
Fortæl os om dem — første, anden, tredje, fjerde.
For længe siden var disse ting kaldes Hopfield-netværk, og de studerede minder, som de lokale mus. Hopfield fandt, at hvis du prøver at sætte for mange minder, de rodet op. De tager to lokale tiltrækker og samler dem til et enkelt attractor et sted halvvejs mellem dem.
Så kom Francis Crick og Graham Mitchison og sagde, at vi kan slippe af med disse falske nedture med rzucanie (det vil sige, at glemme hvad der blev lært). Vi deaktiverer input, vi oversætte det neurale netværk i en tilfældig tilstand, lad hende falde til ro, siger, at det er dårlig, skal du ændre forbindelsen, så de ikke kommer ind i denne tilstand, og det er således muligt at tvinge netværk til at lagre mere minder.
Så kom Terry og Sejnowski og sagde: “Se, om vi har ikke kun neuroner at gemme minderne, men masser af andre neuroner, hvis vi kan finde en algoritme, der vil bruge alle disse andre neuroner til at hjælpe med at gendanne hukommelsen?”. I sidste ende, vi har skabt boltzmanngasse en maskine læring algoritme. Og bolzanovia den machine learning algoritme, der havde en meget interessant egenskab: jeg viser data, og han går gennem de resterende enheder indtil du får i en meget lykkelig tilstand, og derefter det øger strømmen af alle forbindelser, der er baseret på det faktum, at to enheder er aktive på samme tid.
Du er også nødt til at være den fase, hvori du tage stikket ud af input, giver algoritmen “poshurshat” og oversætte den til en stat, hvor han er glad, så han fantaserer, og så snart han er født en fantasi, du siger: “Tag alle par af neuroner, der er aktive, og mindskes, kraften af links”.
Jeg forklare algoritmen som en procedure. Men i virkeligheden, er denne algoritme er produktet af matematik og spørgsmålet: “Hvordan ændre kæde forbindelser til det neurale netværk med alle disse skjulte stykker data, som virkede overraskende?”. Og der måtte være en anden fase, som vi kalder en negativ fase, når netværket fungerer uden input og glemte, uanset i hvilken tilstand, du lægger.
Vi drømmer om timer hver nat. Og hvis der pludselig Vågner op, kan vi sige, at drøm, bare fordi den drøm er lagret i korttidshukommelsen. Vi ved, at der har drømme, mange timer, men i morgen, efter at vågne, kan huske, er det kun den sidste drøm, og andre ikke kan huske det meget godt, fordi man fejlagtigt kunne tage dem til virkelighed. Så, hvorfor vi ikke kan huske deres drømme? Ifølge Crick, dette er betydningen af drømme: at aflære disse ting. Du vil lære det modsatte.
Terry Sejnowski, og jeg fandt, at det er virkelig en læring procedure med højst sandsynlighed for Boltzmann maskiner. Dette er den første teori om drømme.
Jeg ønsker at flytte til andre teorier. Men stille spørgsmålet: gjorde du tog nogen af dine algoritmer, dyb læring er faktisk en drøm?
Nogle af de første algoritmer, der kan lære at arbejde med skjulte enheder, var Boltzmann maskine. De var yderst ineffektive. Men senere fandt jeg en måde at arbejde med tilnærmelser, som viste sig at være effektiv. Og det er virkelig var afsæt for genoptagelsen af arbejdet i dyb læring. Det var ting, der blev undervist af et lag af detektor funktioner på en gang. Og det var en effektiv form af restriktive Boltzmann maskine. Og hvorfor var hun der gør denne form for reverse uddannelse. Men i stedet for at sove, hun bare kunne fantasere efter hver markør med data.
Okay, så androids virkelig drøm electrohouse. Lad os gå videre til teori to, tre og fire.
Teorien to blev kaldet Wake Sleep Algoritme [algoritme “vågen-søvn”]. Du er nødt til at træne den generative model. Og du har den idé, at skabe en model, der kan generere data, der er lag af detektorer egenskaber og aktiverer det højere og det lavere lag, og så videre, indtil aktivering af pixel skabe billedet i virkeligheden. Men du vil gerne lære hende forskellige. Du vil gerne anerkende data.
Og så er du nødt til at lave en algoritme med to faser. I den fase af Wake-up data er modtaget, den forsøger at genkende dem, og i stedet undersøge de relationer, som den bruger til anerkendelse, det undersøger de generative kommunikation. Data kommer, vil jeg aktivere den skjulte enheder. Og derefter prøvede jeg at undervise i disse skjulte enheder til at gendanne data. Han lærer at rekonstruere i hvert lag. Men spørgsmålet er, hvordan man studerer den direkte forbindelse? Så ideen er, at hvis der ved direkte forbindelse, at det er muligt at lære at gøre en reverse-forbindelse, fordi det er muligt at lære at rekonstruere det.
Nu er det også viser sig, at hvis du bruger reverse-forbindelse, kan du lære og direkte forbindelser, fordi du kan bare starte øverst og generere en smule af data. Og som du generere data, du ved, at de Stater, af alle skjulte lag, og kan udforske direkte links til at genskabe disse Stater. Og her er hvad der sker: hvis du starter med tilfældige forbindelser og forsøger skiftevis at bruge begge faser, det vil lykkes. Det, der fungerede godt, bliver nødt til at forsøge forskellige muligheder, men vil arbejde.
Jamen, hvad med de to andre teorier? Vi har kun otte minutter, tror jeg, vil ikke have tid til at bede om noget som helst.
Giv mig en time, og jeg vil fortælle jer, om de to andre.
Lad os tale om, hvad der vil ske næste. Hvor er du på vej i din forskning? Hvilket problem du forsøger at løse nu?
I den sidste ende, vil have til at arbejde på noget i løbet af end arbejde i gang. Jeg tror, jeg kan arbejde på noget, som aldrig er færdig, kaldes “kapsler”, en teori om, hvordan visuel perception med brug af genopbygning, og hvordan de oplysninger, der er sendt til det rigtige sted. To store motiverende faktor var, at standard neurale netværk, informationer, aktiviteter i lag bare automatisk er en flyafgang, og du behøver ikke at træffe beslutninger om, hvor du skal sende det. Tanken om at kapslerne var til at træffe beslutninger om, hvor du skal sende oplysningerne.
Nu, da jeg begyndte at arbejde på kapsler, meget intelligente mennesker fra Google opfandt transformere at gøre det samme. De beslutter, hvor du vil sende oplysninger, og dette er en stor gevinst.
Næste år vil vi være tilbage til at tale om teorier om drømme, nummer tre og nummer fire.
Dette er for at få registrering i vores chat i Telegram ikke at gå glip af.
Den artikel, der anvendes illustration af Maria Menshikova.