En computer-algoritme, der er udstyret med en form for kunstig nysgerrighed kan lære at løse vanskelige problemer, selv når det ikke umiddelbart klart, hvilke tiltag der kan hjælpe med at nå det mål.
Forskere ved University of California, Berkeley, har udviklet en “iboende nysgerrighed model” for at gøre deres uddannelse algoritme arbejde, selv når der ikke er en stærk feedback-signal. Nysgerrighed model, der er udviklet af det team ser AI software, der styrer en virtuel agent i et videospil, der søger at maksimere sin forståelse af sine omgivelser, og især de aspekter af miljø, der påvirker det. Der har været tidligere bestræbelser på at give AI agenter nysgerrighed, men disse har en tendens til at arbejde i en mere forsimplet måde.
Det trick kan bidrage til at afhjælpe en mangel, i dag mest kraftfulde maskine-learning teknikker, og det kunne pege på, hvordan vi kan gøre maskiner bedre til at løse den virkelige verdens problemer.
Video høflighed af Pulkit Agrawal
“Belønninger i den virkelige verden, er meget sparsomme,” siger Pulkit Agrawal, Ph.d. – studerende ved UC Berkeley, der har udført forskning med kolleger. “Babyer kan alle disse tilfældige eksperimenter, og du kan tænke på det som en slags nysgerrighed. De er ved at lære nogle slags færdigheder.”
Flere kraftfuld maskine-learning teknikker har gjort maskiner klogere i de seneste år. Blandt disse, er en metode, der er kendt som forstærkning læring har gjort det muligt for maskiner til at udrette ting, der ville være vanskeligt at definere i koden. Styrkelse læring indebærer, at man bruger positive belønninger for at guide en algoritme ‘ s adfærd i retning af et bestemt mål (se “10 Banebrydende Teknologier 2017: Reinforcement Learning”).
Styrkelse læring er en grundlæggende del af AlphaGo, et program, der er udviklet af DeepMind, til at spille den abstrakte og komplekse brætspil, Gå med utrolig færdighed. Teknikken er nu ved at blive undersøgt som en måde at tilføre maskiner med andre færdigheder, som kan være umuligt at koden manuelt. For eksempel, det kan være en vej til en robot-arm til at arbejde for sig selv, hvordan man udfører en bestemt opgave.
Abonnere på Weekend Læser
Vores guide til historier i arkiverne for at sætte teknologien i perspektiv.
Tilmeld
Tak — tjek venligst din e-mail for at bekræfte dit abonnement.
Forkert e-mail-format
Administrer dine indstillinger for nyhedsbrev
Styrkelse læring har sine begrænsninger, selv om. Agrawal bemærker, at det ofte tager en enorm mængde af træning for at lære en opgave, og processen kan være svært, hvis den feedback, der kræves, er ikke umiddelbart tilgængelige. For eksempel, den metode ikke virker for computerspil, hvor fordelene ved bestemte adfærdsmønstre er ikke umiddelbart indlysende. Det er, hvor nysgerrighed kunne hjælpe.
Forskerne prøvede den metode, i kombination med styrkelse læring inden for to simple computerspil: Mario Bros, er et klassisk platform spil, og VizDoom, en grundlæggende 3-D-shooter-titel.
I begge spil, brug af kunstig nysgerrighed lavet den læring proces mere effektiv. I 3-D spil, for eksempel, i stedet for at bruge en overdreven mængde af tid at støde ind i vægge, agent flyttede rundt på sine omgivelser, at lære at navigere hurtigere. Selv uden anden belønning, agenten var i stand til at navigere i både spil overraskende godt. I Mario Bros. det har lært at undgå at blive dræbt, fordi denne mindsket sin evne til at udforske og lære om dens miljø.
Et papir, der beskriver den forskning, vil blive offentliggjort på et større AI konference senere på året.
Hvad andre aspekter af den menneskelige intelligens, bør AI se at låne?
Del dine tanker.
Kunstige nysgerrighed har været et aktivt område for forskning i noget tid. Pierre-Yves Oudeyer, en forskningsleder ved det franske Institut for Forskning i datalogi og Automatisering, har været banebrydende, over de sidste mange år, udvikling af edb-programmer og robotter, der udviser enkle former af nysgerrighed.
“Hvad er meget spændende lige nu er, at disse idéer, som var meget ses som et “eksotisk” ved både mainstream AI og neuroscience, forskere, er nu ved at blive et vigtigt emne i både AI og neurovidenskab,” Oudeyer siger.
Det arbejde kan få reelle praktiske fordele. UC Berkeley team, der er ivrig efter at prøve det på robotter, der bruger forstærkning for at lære at arbejde ud af, hvordan til at gøre ting som griber akavet objekter. Agrawal siger robotter kan spilde en enorm mængde tid at udføre tilfældige bevægelser. Når det er udstyret med medfødte nysgerrighed, sådan en robot skal hurtigere udforske sine omgivelser og eksperimentere med objekter i nærheden, siger han.
Brenden Søen, en forsker ved New York University, der bygger beregningsmodeller af menneskets kognitive evner, siger, at det arbejde, der synes lovende. “Udvikling af maskiner med lignende kvaliteter, er et vigtigt skridt mod at opbygge maskiner at lære og tænke som mennesker,” sagde han i en e-mail. “Det er meget imponerende, at ved kun at bruge drevet af nysgerrighed læring, agent kan lære at gå et niveau i Mario. Agenten ikke engang se på spillet score.”
På samme tid, siger Søen, nysgerrighed fremgår af det nye program er faktisk temmelig forskellige fra, sige, at et barn. Mennesker har en tendens til at vise en meget dybere interesse i deres verden, siger han.
“Det er en meget egocentrisk form for nysgerrighed,” Lake siger. “Agent er kun nysgerrig om funktioner af sine omgivelser at forholde sig til sine egne handlinger. Folk er mere generelt nysgerrig. Folk ønsker at lære om verden på måder, som er mindre direkte knyttet til deres egne handlinger.”