Gary Marcus, En Dyp Læring Dissenter, Mener Han Har en Kraftigere AI Tilnærming

En kognitiv forsker mener de ledende tilnærming til maskinlæring kan være forbedret med ideer hentet fra studerer barn.

  • Kommentarer
  • E-post
  • Service
  • Service
  • Flere Deler
  • Skriv ut

Som alle stolt far, Gary Marcus er bare altfor glad for å snakke om de nyeste prestasjoner av hans to år gamle sønn. Mer uvanlig, han mener at måten hans småbarn lærer og årsakene kan hold-tasten for å lage maskiner mye mer intelligent.

Sitter i styrerommet i en travel Manhattan oppstart inkubator, Marcus, en 45-år gamle professor i psykologi ved New York University og grunnlegger av et nytt selskap kalt Geometriske Intelligens, beskriver et eksempel på gutten sin oppfinnsomhet. Fra baksetet av bilen, hans sønn hadde sett et skilt som viser nummer 11, og fordi han visste at andre tosifret tall hadde navn som “tretti-tre” og “sytti-sju,” han ba sin far om tallet på skiltet var “onety-en.”

“Han hadde fram til at det er en regel om hvordan du legger sammen tallene,” Marcus forklarer med et smil. “Nå, han hadde overgeneralized det, og han gjorde en feil, men det var en veldig sofistikert feil.”

Marcus har et helt annet perspektiv fra mange av datamaskinen forskere og matematikere nå i forkant av kunstig intelligens. Han har tilbrakt tiår å undersøke hvordan det menneskelige sinn fungerer, og hvordan barn lærer nye ferdigheter som for eksempel språk-og musikalitet. Dette har ført ham til å tro at hvis forskerne ønsker å skape virkelig avansert kunstig intelligens—noe som lett lærer om verden—de må ta signaler fra veien småbarn plukke opp nye konsepter og generalisere. Og det er en av de store inspirasjonskildene for sin nye selskapet, som han kjører mens du er på et års permisjon fra NYU. Med sin radikale tilnærming til maskinlæring, Geometriske Intelligens har som mål å lage algoritmer for bruk i en AI som kan lære på nye og bedre måter.

Er dyp læring basert på en modell som er for enkle? Marcus tenker datamaskinen forskere mangler en stor mulighet ved å ignorere mange nyanser i det menneskelige sinn.

I dag er nesten alle andre prøver å kommersialisere AI, fra Google til Baidu, er fokusert på algoritmer som omtrent modell måten nevroner og synapser i hjernen endres som de er utsatt for ny informasjon og nye erfaringer. Denne tilnærmingen, som er kjent som dyp læring, har produsert noen forbløffende resultater i de senere år, spesielt som mer data og kraftigere maskinvare har tillatt den underliggende beregninger for å vokse i omfang. Dyp-læring metoder har matchet—eller til og med overgått—menneskelige nøyaktighet i å gjenkjenne ansikter på bilder eller identifisere ordene i lydopptak. Google, Facebook, og andre store selskaper som søker tilnærming til omtrent enhver oppgave som det er nyttig å få øye på et mønster i store mengder data, for eksempel avgrense søkeresultatene eller undervisning datamaskiner hvordan å holde en samtale (se “Undervisning Maskiner for å Forstå Oss”).

Men er dypt læring basert på en modell av hjernen som er for enkle? Geometriske Intelligens—ja, Marcus selv—er å spille på at datamaskinen forskere mangler en stor mulighet ved å ignorere mange nyanser i hvordan det menneskelige sinn virker. I hans forfatterskap, offentlige opptredener, og kommentarer til pressen, Marcus kan være en hard kritiker av entusiasme for dyp læring. Men til tross for sin tidvis slipende tilnærming, han gir en verdifull counterperspective. Blant andre ting, påpeker han at disse systemene trenger å bli matet mange tusenvis av eksempler for å lære noe. Forskere som prøver å utvikle maskiner i stand til å snakke naturlig med folk gjør det ved å gi sine systemer utallige transkripsjoner av tidligere samtaler. Dette kan godt lage noe i stand til enkel samtale, men kognitiv vitenskap tyder på at det er ikke hvordan det menneskelige sinn tilegner seg språk.

I motsetning, en to-år-gamle evne til å lære ved å ekstrapolere og generalisere—om enn ikke perfekt—er langt mer sofistikert. Klart hjernen er i stand til mer enn bare å gjenkjenne mønstre i store datamengder: det er en måte å tilegne seg dypere abstraksjoner fra relativt lite data. Å gi maskinene selv en grunnleggende evne til å lære slike abstraksjoner raskt ville bli en viktig prestasjon. En selvkjørende bil kanskje ikke trenger å reise millioner av mil for å lære hvordan å takle nye veien forhold. Eller en robot kunne identifisere og hente en flaske piller har det vist bare én eller to ganger. Med andre ord, disse maskinene ville tenke og handle litt mer på den måten vi gjør.

Med litt uflidd hår og et par dager av halm, Marcus synes godt egnet til sin nye rolle som entreprenør. I hans selskap er på plass, en håndfull programmerere arbeid bort på dyre pc-arbeidsstasjoner som kjører kraftige grafikkprosessorer. På et tidspunkt, da Marcus ønsker å illustrere et poeng om hvordan hjernen fungerer, når han for det han mener er en whiteboard tusj. Det viser seg å være en feilslått dart fra en Nerf gun.

Marcus snakker raskt når spent, og han har en rask følelse av humor og et skøyeraktig smil. Han nekter å forklare nøyaktig hvilke produkter og programmer som selskapet hans fungerer på, i frykt for at et stort selskap som Google kan oppnå en fordel ved å lære avgjørende innsikt bak det. Men han sier at det har utviklet algoritmer som kan lære fra relativt små mengder data, og kan selv vurdere og generalisere, i en primitiv måte, fra den informasjonen de er matet. Marcus sier at hans team har testet disse algoritmene bruker oppgaver som deep-learning tilnærminger i excel, og de har vist seg å være vesentlig bedre i flere tilfeller. “Vi vet noe om hva de egenskaper av hjernen bør være,” forklarer han. “Og vi prøver, i en viss forstand, til å foreta omvendt utvikling fra disse egenskapene.”

Gutten rart

Marcus, som ble født i Baltimore, ble fascinert av sinnet i videregående skole etter å ha lest Tankene er jeg, en samling av essays om bevissthet redigert av kognitiv forsker Douglas Hofstadter og filosofen Daniel Dennett, samt Hofstadter er metaforisk bok på hodet og maskiner, Gödel, Escher, Bach. Rundt samme tid, skrev han et dataprogram utviklet for å oversette fra Latin til engelsk. Vanskelighetsgraden av oppgaven gjort ham til å innse at re-opprette intelligens i maskiner vil sikkert kreve en mye større forståelse av fenomener på jobb inne i det menneskelige sinn.

Marcus er Latin-til-norsk-programmet var ikke særlig praktisk, men det hjalp overbevise Hampshire College til å la ham ta fatt på en lavere grad et par år for tidlig. Studenter ved små liberal-arts school i Amherst, Massachusetts, oppfordres til å utforme sin egen grad programmer. Marcus viet seg til studier gåten av den menneskelige erkjennelse.

På midten av 1980-tallet var en interessant tid for feltet av AI. Det var blitt delt mellom de som søkte å produsere intelligente maskiner ved å kopiere grunnleggende biologi av hjernen og de som tar sikte på å etterligne høyere kognitive funksjoner ved hjelp av konvensjonelle datamaskiner og programvare. Tidlig arbeid i AI var basert på den sistnevnte tilnærmingen, ved hjelp av programmeringsspråk er bygget for å håndtere logikk og symbolsk representasjon. Fugler er det klassiske eksempel. Det faktum at fugler kan fly kan være kodet som en bit av kunnskap. Så, hvis en datamaskin ble fortalt at en starling var en fugl, ville det utlede at stær må være i stand til å fly. Flere store prosjekter ble lansert med sikte på koding menneskelig kunnskap i store databaser, i håp om at noen sorter av komplekse intelligens kan etter hvert dukke opp.

Men mens noen fremgang ble gjort, tilnærmingen viste seg stadig mer komplekse og uhåndterlig. Reglene ofte har unntak; det er ikke alle fugler kan fly. Og mens pingviner er helt jordnære, en fugl i et bur, og en med en brukket vinge kan ikke fly for svært ulike grunner. Det viste seg å være utrolig komplisert å kode alle unntak fra slike regler. Folk ser ut til å lære slike unntak raskt, men datamaskiner balked. (Selvfølgelig unntak, blant annet “elleve” heller enn “onety-en,” kan være forvirrende for mennesker også.)

Gary Marcus

Rundt den tiden Marcus var forberedelse til å gå inn Hampshire College, en gruppe psykologer kom opp med en tilnærming som truet med å slå kunstig intelligens opp ned. Tilbake i 1940, Donald Hebb hadde presentert en teori om hvordan nerver i hjernen kan lære å gjenkjenne en inngang. Han viste hvordan gjentatt avfyring av nevroner kan styrke sine forbindelser til hverandre, og dermed øke sannsynligheten for at de ville alle brann igjen når matet den samme inngang. Noen forskere bygget datamaskiner med et lignende design. Men de evner av disse såkalte nevrale nettverk ble begrenset til 1986, da en gruppe forskere oppdaget måter å øke sin egen makt. Disse forskerne viste også hvordan nevrale nettverk kan brukes til å gjøre forskjellige ting, fra å gjenkjenne mønstre i visuelle data til å lære fortid (preteritum av engelske verb. Tog disse nettverkene på nok eksempler, og de danner forbindelser som trengs for å utføre slike oppgaver.

Å kalle deres tilnærming “connectionism,” forskere hevdet at tilstrekkelig store nevrale nettverk kan re-opprette intelligens. Selv om deres ideer ikke ta over umiddelbart, de førte til slutt til dagens æra av dyp læring.

Akkurat som connectionism var å ta av, Marcus var å bestemme hvor du skal gjøre sitt diplomstudium, og han deltok på et foredrag av den kjente kognitive forsker Steven Pinker, deretter professor ved MIT. Pinker snakket om hvordan barn lærer og bruke verb, og han kranglet, i motsetning til en ren connectionist perspektiv, at de ikke ser ut til å erverve fortid (preteritum av verb rent ved å memorere eksempler og generalisere til tilsvarende. Pinker viste tegn på at barn raskt oppdage regler om språk og deretter generalisere. Han og andre mener, egentlig, at evolusjonen har formet nevrale nettverk som finnes i den menneskelige hjernen til å gi de nødvendige verktøy for en mer sofistikert intelligens.

En dyp-læring system kan være opplært til å gjenkjenne bestemte arter av fugler, men det må millioner av eksempelbilder og ville ikke vite noe om hvorfor en fugl ikke kan fly.

Marcus sluttet Pinker s lab ved MIT på 19, og Pinker husker ham som en veslevoksen student. “Jeg tildelt ham et prosjekt for analysering av et enkelt ja / nei-hypotesen på et lite datasett av innspilt tale fra tre barn,” sa han i en e-post. “Et par dager senere hadde han utført en omfattende analyse på tale av 25 barn som testet et halvt dusin hypoteser og ble grunnlaget for en stor forskning monografi.”

Som en graduate student, Marcus samlet ytterligere bevis for å støtte Pinker ‘ ideer om læring og lagt innsikt i sin egen. Han var en pioner datastyrt analyse av store mengder av kognitiv forskning data, studere tusenvis av innspillinger av barnas tale for å finne tilfeller der de har gjort feil som “breaked” og “goed” i stedet for “blakk” og “dro.” Dette syntes å bekrefte at barn forstå reglene i grammatikk og deretter bruke dem til nye ord, mens læring unntak fra disse reglene ved å rote.

På grunnlag av denne forskningen, Marcus begynte å stille spørsmål ved connectionist tro på at intelligens i hovedsak komme fra større nevrale nettverk, og han begynte å fokusere på begrensningene og quirks av dyp læring. En dyp-læring system kan bli opplært til å gjenkjenne bestemte arter av fugler i bilder eller videoklipp, og for å fortelle forskjellen mellom de som kan fly, og de som ikke kan. Men det ville behov for å se millioner av eksempler på bilder for å gjøre dette, og det ville ikke vet noe om hvorfor en fugl ikke kan fly.

Marcus arbeid med barn, faktisk, førte ham til en viktig konklusjon. I 2001 en bok som heter Den Algebraiske Sinn, han mente at utvikling av menneskelige sinn lærer både fra eksempler og ved å generere regler fra det den har lært. Med andre ord, hjernen bruker noe som en dyp-læring system for bestemte oppgaver, men det er også butikker og manipulerer regler om hvordan verden fungerer, slik at det kan trekke nyttige konklusjoner fra kun noen erfaringer.

Dette ikke akkurat at Geometriske Intelligens prøver å etterligne måten ting skjer i hjernen. “I en ideell verden ville vi vite hvordan barna gjør det,” sier Marcus. “Vi vil vite hva hjernen kretser er involvert, beregninger de gjør. Men nevrovitenskap er fortsatt et mysterium.” Snarere, han antydet at selskapet bruker en grab bag av teknikker, inkludert de “kompatibel” med dyp læring, for å prøve å re-opprette menneskelig læring.

Sunn fornuft

Arbeidet med Geometriske Intelligens er sikkert viktig, fordi blander nye ideer fra kognitiv vitenskap og nevrovitenskap vil utvilsomt være viktig for fremtiden for kunstig intelligens. Fremdeles, etter et møte med Marcus, jeg følte meg litt som en pjokk prøver å gjøre følelse av noen ukjente sifre. Hvordan vil alt dette kommer sammen? Jeg trengte en av Marcus ‘ s samarbeidspartnere for å vise meg en annen brikke i puslespillet av hva selskapet er å utvikle.

Zoubin Ghahramani, en professor av informasjon engineering ved University of Cambridge i STORBRITANNIA, er en medstifter av Geometriske Intelligens. Ghahramani vokste opp i Sovjetunionen og Iran før han flyttet til Spania og Usa, og selv om han er nøyaktig den samme alder som Marcus, at han kom til MIT et år senere. Men fordi paret delte en bursdag, de endte opp med å kaste partier og sosialt samvær sammen.

Ghahramani er fokus på bruk av sannsynligheten for å gjøre maskiner smartere. Matematikken bak som er komplisert, men grunnen er enkel: sannsynlighet gir en måte å takle usikkerhet eller ufullstendige opplysninger. Fuglene kan igjen bidra til å illustrere dette. En sannsynlighet-basert system kan tilordne en høy sannsynlighet for å konseptet som en fugl er i stand til å fly. Deretter, når den lærer at en struts er en fugl, det vil anta at det kan mest sannsynlig fly. Men annen informasjon, som for eksempel det faktum at en voksen struts vanligvis veier mer enn 200 pounds, kan endre denne forutsetningen, noe som reduserer sannsynligheten for at en struts kan fly til nær null. Denne fleksible tilnærmingen kan gi maskiner med noe som likner en primitiv form av sunn fornuft, en kvalitet som er fundamentalt viktig for å menneskelig intelligens.

Snakker via Skype fra sitt kontor i Cambridge, England, Ghahramani tyder på ett bestemt program som han og Marcus har sitt øye på: trening roboter til å håndtere komplekse miljøer. I robotics forskning, “har erfaringer er dyrt, sier han. “Hvis du ønsker å få en robot til å lære å gå, eller et autonomt kjøretøy for å lære å kjøre bil, du kan ikke presentere det med en data-sett av en million eksempler på at den faller over og bryte eller å ha ulykker—det fungerer bare ikke.”

Gitt at statistiske algoritmer og annen teknologi i verk på Geometriske Intelligens ville være kompatibel med dyp læring, det er mulig at til slutt det liker av Google eller Facebook vil overta bedriften og legge den til sin generelle AI portefølje. Og til tross for Marcus kritikk av connectionism og dyp-læring feber, jeg har en anelse at han ville være helt fornøyd med et slikt resultat.

Selv om det ikke skjer, vil det være betydelig dersom Marcus kan vise at de mest mirakuløse læring system vi vet—det menneskelige sinn—er nøkkelen til fremtidig utvikling av kunstig intelligens. Marcus gir meg et annet eksempel på hans sønns dyktighet. “Min kone spurte ham,” Hvilke av dine dyrevenner vil komme til skolen i dag?”” Marcus sier. “Og han sier,” Big Bunny, fordi Bjørn og Platypus er å spise.’ Da min kone går tilbake til rommet hans, og sikker nok, de leker er på en stol ‘å spise.’”

Marcus underverk at hans to år gamle kan resonnere om reglene om menneskelig atferd—å innse at du enten kommer til skolen eller gjør noe annet—og bygge opp en helt ny setning basert på hans voksende forståelse av hvordan språket fungerer. Etter en pause, og et smil, legger han til: “Vel, du vise meg AI-system som kan gjøre det.”


Date:

by