En kognitiv videnskabsmand tænker de førende tilgang til machine learning kan forbedres ved at ideer og erfaringer fra at studere børn.
Ligesom enhver stolte far, Gary Marcus er kun alt for glade for at tale om de nyeste resultater af sin to-årige søn. Mere usædvanligt, at han mener, at den måde, som hans lille barn lærer, og årsagerne kan holde nøglen til at gøre maskiner meget mere intelligent.
Sidder i bestyrelseslokalet i en travl Manhattan start inkubator, Marcus, en 45-årige professor i psykologi ved New York University og grundlægger af en ny selskab kaldes Geometrisk Intelligens, beskriver et eksempel på hans dreng opfindsomhed. Fra bagsædet af den bil, som hans søn havde set et skilt med nummer 11, og fordi han vidste, at andre tocifrede tal havde navne som “thirty-three” og “halvfjerds-syv,” sagde han til sin far, hvis nummeret på den log, der blev “onety-en.”
“Han havde udledes, at der er en regel om, hvordan du sætter dine tal sammen,” forklarer Marcus med et smil. “Nu, han havde overgeneralized det, og han har lavet en fejl, men det var en meget sofistikeret fejl.”
Marcus har en meget anderledes perspektiv fra mange af de dataloger og matematikere nu på forkant med kunstig intelligens. Han har brugt mange år på at studere den måde, hvorpå det menneskelige sind fungerer, og hvordan børn lærer nye færdigheder som sprog og musikalitet. Dette har ført ham til at tro, at hvis forskere ønsker at skabe virkelig avanceret kunstig intelligens—noget, der umiddelbart lærer om verden—de skal tage stikord fra den måde, småbørn afhente nye koncepter og generalisere. Og det er en af de store inspirationer for hans nye selskab, som han kører, mens du er på et års orlov fra NYU. Med sin radikale tilgang til machine learning, Geometrisk Intelligens har til formål at skabe algoritmer til brug i en AI, der kan lære på nye og bedre måder.
Er dyb læring, der er baseret på en model, der er alt for simpelt? Marcus mener, dataloger glip af en kæmpe mulighed ved at ignorere mange finesser af det menneskelige sind.
I dag næsten alle andre forsøger at kommercialisere AI, fra Google, Baidu, er fokuseret på algoritmer, der groft model den måde neuroner og synapser i hjernen ændre sig som de bliver udsat for nye informationer og oplevelser. Denne tilgang, der er kendt som dyb læring, har produceret nogle overraskende resultater i de seneste år, især efterhånden som flere data og mere kraftfuld computer hardware, har tilladt, at de underliggende beregninger til at vokse i omfang. Dyb-learning metoder har matchet—eller endog overgået—menneskelige nøjagtighed i at genkende ansigter på billeder eller identifikation af det talte ord i lyd-optagelser. Google, Facebook, og andre store virksomheder anvender tilgang til næsten enhver opgave, hvor det er nyttigt at få øje på et mønster i enorme mængder af data, som raffinering søgeresultater eller undervisning, computere, hvordan du holder en samtale (se “Undervisning Maskiner til at Forstå Os”).
Men er dyb læring, der er baseret på en model af hjernen, der er alt for simpelt? Geometrisk Intelligens—ja, Marcus sig selv—satser på, at dataloger glip af en kæmpe mulighed ved at ignorere mange finesser i den måde, den menneskelige hjerne fungerer. I hans forfatterskab, offentlige optrædener, og kommentarer til pressen, Marcus kan være en hård kritiker af begejstring for dyb læring. Men på trods af hans lejlighedsvis slibende tilgang, han giver en værdifuld counterperspective. Blandt andet påpeger han, at disse systemer har brug for at blive fodret mange tusinder af eksempler for at lære noget. Forskere, der forsøger at udvikle maskiner i stand til at tale naturligt med mennesker gør det ved at give deres systemer utallige udskrifter af tidligere samtaler. Dette kan godt producere noget der kan simpel samtale, men kognitiv videnskab antyder, er den ikke, hvordan det menneskelige sind, der erhverver sprog.
I modsætning til den to år gamle ‘ s evne til at lære ved at ekstrapolere og generalisere—om end ufuldkomment—er langt mere sofistikeret. Klart at hjernen er i stand til mere end blot at genkende mønstre i store mængder af data: det er en måde at få større indvinding fra relativt få data. At give maskiner selv en grundlæggende evne til at lære sådanne abstraktioner hurtigt ville være et vigtigt resultat. En selvkørende bil, behøver måske ikke at rejse millioner af miles for at lære at håndtere nye veje. Eller en robot kunne identificere og hente en flaske af piller det har vist sig, at kun én eller to gange. Med andre ord, disse maskiner ville tænke og handle en smule mere den måde, vi gør.
Med lidt uredt hår og et par dage af stubbe, Marcus synes velegnet til sin nye rolle som iværksætter. I hans selskab plads, en håndfuld programmører arbejder væk på dyre computer arbejdsstationer, der kører kraftfulde grafik-processorer. På et tidspunkt, når Marcus ønsker at illustrere en pointe om, hvordan hjernen fungerer, han når op til hvad han mener er en whiteboard marker. Det viser sig at være en malplaceret dart fra en Nerf pistol.
Marcus taler hurtigt, hvis det er ophidset, og han har en hurtig sans for humor og frække grin. Han nægter at forklare præcis hvad, produkter og applikationer hans selskab arbejder på, for frygt for, at en stor virksomhed som Google kan opnå en fordel ved at lære den afgørende indsigt, der ligger bag. Men han siger, at det har udviklet algoritmer, der kan lære fra relativt små mængder data, og du kan endda ekstrapolere og generalisere, i en rå måde, ud fra de oplysninger, de bliver fodret med. Marcus siger, at hans hold har testet disse algoritmer ved hjælp af opgaver, hvor dybt-læring excel, og de har vist sig betydeligt bedre i flere tilfælde. “Vi ved noget om, hvilke egenskaber hjernen skal være,” forklarer han. “Og vi forsøger, i en vis forstand, at reverse-engineer fra disse egenskaber.”
Boy wonder
Marcus, der blev født i Baltimore, blev fascineret af sind i high school, efter at have læst Sind er jeg, en samling af essays om bevidsthed redigeret af den kognitive forsker Douglas Hofstadter og filosof Daniel Dennett, samt Hofstadter ‘ s metaforiske bog på hovedet og maskiner, Gödel, Escher, Bach. Omkring samme tid, skrev han et edb-program, der er designet til at oversætte Latin til engelsk. Vanskeligheden af den opgave, der fik ham til at indse, at re-skabe intelligens i maskiner ville helt sikkert kræve en langt større forståelse af de fænomener, der er på arbejde inde i det menneskelige sind.
Marcus ‘ s Latin-til-engelsk program, ikke var særlig praktisk, men det hjalp overbevise Hampshire College til at lade ham gå i gang på en bachelor-grad et par år for tidligt. Studerende på den lille liberal-arts school i Amherst, Massachusetts, opfordres til at designe deres egne uddannelser. Marcus helliget sig til at studere gåden om den menneskelige kognition.
Midten af 1980’erne var en interessant tid for inden for AI. Det var ved at blive delt mellem dem, der søgte at producere intelligente maskiner ved at kopiere den grundlæggende biologi-om hjernen, og dem, der tager sigte på at efterligne højere kognitive funktioner ved hjælp af konventionelle computere og software. Det første arbejde i AI var baseret på den sidstnævnte tilgang, ved hjælp af programmering sprog er bygget til at håndtere logik og symbolske repræsentation. Fugle er det klassiske eksempel. Det faktum, at fugle kan flyve kunne være kodet som et stykke viden. Så, hvis en computer, der fik at vide, at en stær var en fugl, det ville udlede, at stære skal være i stand til at flyve. Flere store projekter blev iværksat med henblik på kodning af den menneskelige viden i store databaser, i håb om, at nogle slags komplekse intelligens kan i sidste ende vise sig.
Men mens der er gjort visse fremskridt, den tilgang viste sig mere og mere kompliceret og besværlig. Regler, der ofte har en række undtagelser, ikke alle fugle, der kan flyve. Og mens pingviner er helt jordbundne, en fugl i et bur, og en med en brækket vinge kan ikke flyve for meget forskellige grunde. Det viste sig at være utroligt kompliceret at indkode alle undtagelser fra disse regler. Synes folk til at lære sådanne undtagelser hurtigt, men de computere, der stejlede. (Selvfølgelig er der undtagelser, herunder “elleve” snarere end “onety-en,” kan være forvirrende for mennesker også.)
Gary Marcus
Omkring den tid, Marcus var klar til at indtaste Hampshire College, en gruppe af psykologer kom op med en tilgang, der truede med at slå kunstig intelligens på hovedet. Tilbage i 1940’erne, Donald Hebb havde fremlagt en teori om, hvordan den nerver i den hjernen kan lære at genkende et input. Han viste, hvordan de gentagne fyring af neuroner kan styrke deres forbindelser til hinanden, og dermed øge sandsynligheden for, at de ville alle fire igen, når fodret de samme input. Nogle forskere bygget computere med et lignende design. Men de evner af disse såkaldte neurale netværk blev begrænset, indtil 1986, hvor en gruppe forskere har opdaget måder at øge deres læring magt. Disse forskere viste også, hvordan neurale netværk kunne bruges til at gøre forskellige ting, fra at genkende mønstre i visuelle data til at lære datid af engelske verber. Tog disse netværk, er nok af eksempler, og de danner forbindelser, der kræves for at udføre disse opgaver.
At kalde deres tilgang “connectionism,” forskerne hævdede, at tilstrækkelig stor neurale netværk kunne re-skabe intelligens. Selv om deres ideer ikke tager over med det samme, de i sidste ende førte til nutidens æra af dyb læring.
Lige så connectionism var at tage ud, Marcus var beslutter, hvor man skal gøre sine studier, og han deltog i et foredrag af den kendte kognitive forsker Steven Pinker, da en professor på MIT. Pinker var tale om børns måde at lære og bruge verber, og han havde skændtes, i modsætning til en ren connectionist perspektiv, at de ikke synes at erhverve datid af verber rent ved at huske eksempler og generaliserende, at lignende dem. Pinker viste beviser på, at børn hurtigt opdage regler for sprog og derefter generalisere. Han og andre mener, det væsentlige, at evolution har formet de neurale netværk, der findes i den menneskelige hjerne til at give de redskaber, der er nødvendige for en mere avanceret intelligens.
En dyb-learning system kan trænes til at genkende bestemte arter af fugle, men det ville kræve millioner af eksempler på billeder og ville ikke vide noget om, hvorfor en fugl, der ikke er i stand til at flyve.
Marcus sluttede Pinker ‘ s lab på MIT i 19, og Pinker husker ham som en fremmelig elev. “Jeg har fået tildelt et projekt, at analysere et simpelt ja-ingen hypotese om en lille data-sæt den indspillede tale fra tre børn,” sagde han i en e-mail. “Et par dage senere, at han havde udført en udtømmende analyse på tale af 25 børn, som har testet et halvt dusin af de hypoteser, og blev grundlaget for et større forsknings-monografi.”
Som graduate studerende, Marcus indhentet yderligere dokumentation til støtte for Pinker ideer om læring og tilføjet indsigt i sin egen. Han var pioner edb-analyse af store mængder af kognitiv forskning, studere tusindvis af optagelser af børn, der tale for at finde tilfælde, hvor de har lavet fejl som “breaked” og “goed” i stedet for “brød” og “gik.” Dette syntes at bekræfte, at børn forstå de grammatiske regler, og derefter anvende dem på nye ord, mens læring undtagelser fra disse regler ved rote.
På grundlag af denne forskning, Marcus begyndte at sætte spørgsmålstegn ved connectionist tro på, at intelligens vil hovedsageligt komme fra større neurale netværk, og han begyndte at fokusere på de begrænsninger og særheder i dyb læring. En dyb-learning system, der vil kunne trænes til at genkende bestemte arter af fugle i billeder eller videoklip, og til at fortælle forskellen mellem dem, der kan flyve, og dem, der ikke kan. Men det vil være nødvendigt at se millioner af eksempler på billeder for at gøre dette, og det ville ikke vide noget om, hvorfor en fugl, der ikke er i stand til at flyve.
Marcus ‘ s arbejde med børn, i virkeligheden, førte ham til en vigtig konklusion. I 2001 bogen kaldes Algebraisk Sind, hævdede han, at udvikle de menneskelige sind lærer både fra eksempler og ved at skabe regler fra, hvad det har lært. Med andre ord, er det hjernen bruger noget som en dyb-learning system til visse opgaver, men det er også butikker og manipulerer regler om, hvordan verden fungerer, så det kan drage nyttige konklusioner fra blot et par erfaringer.
Er dette ikke ligefrem betyde, at Geometrisk Intelligens forsøger at efterligne den måde, tingene sker i hjernen. “I en ideel verden, ville vi vide, hvordan børn gør det,” siger Marcus. “Vi ville vide, hvad hjernens kredsløb er involveret, de beregninger, de laver. Men neurovidenskab, forbliver et mysterium.” Snarere, han antyder, at selskabet er ved hjælp af en grab pose af teknikker, herunder dem, der er “kompatible” med dyb læring, for at forsøge at genskabe menneskelig læring.
Sund fornuft
Arbejdet på Geometrisk Intelligens er sikkert væsentlig, fordi blanding af nye ideer fra kognitiv videnskab og neurovidenskab vil uden tvivl blive vigtig for fremtiden for kunstig intelligens. Stadig, efter et møde med Marcus, jeg følte mig lidt som et lille barn forsøger at få mening ud af nogle ukendte cifre. Hvordan vil alt dette komme sammen? Jeg havde brug for en af Marcus ‘ s samarbejdspartnere til at vise mig en anden brik i puslespillet om, hvad selskabet er ved at udvikle.
Zoubin Ghahramani, en professor i information engineering på University of Cambridge i ENGLAND, er en af stifterne af Geometrisk Intelligens. Ghahramani voksede op i Sovjetunionen og Iran, inden de flytter til Spanien og de Forenede Stater, og selv om han er præcis samme alder som Marcus, at han var ankommet på MIT et år senere. Men fordi parret delte en fødselsdag, de endte med at smide fester og socialt samvær sammen.
Ghahramani er fokuseret på ved hjælp af sandsynligheden for at lave maskiner klogere. Matematikken bag det er kompliceret, men i grunden er enkel: sandsynlighed giver en måde at håndtere usikkerhed eller ufuldstændige oplysninger. Flightless fugle, der kan, igen, hjælpe med at illustrere dette. En sandsynlighed-baseret system, kan du tildele en høj sandsynlighed for, at det koncept, at en fugl er i stand for flyvning. Derefter, når det lærer, at en struds er en fugl, det vil antage, at det kan de fleste formentlig flyve. Men også andre oplysninger, såsom det faktum, at en voksen struds normalt vejer mere end 200 pounds, kan ændre denne antagelse, at reducere sandsynligheden for, at en struds kan flyve til nær nul. Denne fleksible tilgang kan tilføre maskiner med noget, der ligner en rå form af sund fornuft, en kvalitet, der er fundamentalt vigtigt, at den menneskelige intelligens.
Tale via Skype fra sit kontor i Cambridge, England, Ghahramani antyder, at et bestemt program, at han og Marcus har deres øjne på: uddannelse robotter til at håndtere komplekse miljøer. I robotforskning, “at have erfaringer er dyrt,” siger han. “Hvis du ønsker at få en robot til at lære at gå, eller et autonomt køretøj, for at lære at køre, kan du ikke præsentere det med et datasæt af en million eksempler på, at det vælter og går i stykker eller have ulykker—det virker bare ikke.”
I betragtning af, at probabilistiske algoritmer og anden teknologi i arbejder på Geometrisk Intelligens, der vil være forenelig med dyb læring, er det muligt, at i sidste ende kan lide af Google eller Facebook vil overtage virksomheden, og tilføjer det til sin overordnede AI portefølje. Og på trods af Marcus ‘ s kritik af connectionism og dybt-læring feber, jeg har en fornemmelse af, at han ville være ganske tilfreds med sådan et resultat.
Selv hvis det sker, vil det være væsentlig, hvis Marcus kan vise, at den mest mirakuløse learning system, vi kender—det menneskelige sind—er nøglen til fremtiden for kunstig intelligens. Marcus giver mig et andet eksempel på hans søns klogskab. “Min kone spurgte ham:” Hvilken af dine dyrs venner vil komme til skolen i dag?” Marcus siger. “Han siger, ‘Big Bunny, fordi Bjørn og Platypus er at spise.’ Så min kone går ind på sit værelse, og sikker nok, disse legetøj er på en stol ‘at spise.’”
Marcus vidundere, at hans to-årige kan ræsonnere om regler for menneskelig adfærd—at indse, at du enten gå i skole eller laver noget andet—og konstruere en helt ny sætning, der er baseret på hans voksende forståelse af, hvordan sprog fungerer. Efter en pause, og et smil, tilføjer han: “Ja, du viser mig, at de AI-system, der kan gøre det.”
0 kommentarer