En sammenligning af hjernen-billede genopbygning teknikker. De oprindelige billeder vises i den øverste række, mens resultaterne af den nye dybe generativ multivew model er vist i den nederste række.
En af de mere interessante mål i neurovidenskab er at rekonstruere opfattet billeder ved at analysere hjerne scanninger. Ideen er at finde ud af, hvad folk søger på, ved at overvåge aktivitet i deres visuelle cortex.
Det er vanskeligt, selvfølgelig, er at finde måder til effektivt at behandle data fra en funktionel magnetisk resonans (fMRI) scanning. Opgaven er at kortlægge aktiviteten i tre-dimensionelle voxels inde i hjernen til to-dimensionelle pixel i et billede.
Der viser sig at være svært. fMRI-scanninger er berømt støjende, og den aktivitet i en voxel er kendt for at være påvirket af aktivitet i andre voxels. Denne form for korrelation er beregningsmæssigt dyrt at beskæftige sig med; ja, de fleste tilgange bare ignorere det. Og som i væsentlig grad forringer kvaliteten af billedet rekonstruktioner, de producerer.
Så et vigtigt mål er, at finde bedre måder at knuse data fra fMRI-scanninger, og så producere mere præcise hjerne-billede rekonstruktioner.
I dag, Changde Du er på Forsknings-Center for Brain-Inspireret Intelligens i Beijing, Kina, og et par kammerater, siger, at de har udviklet netop sådan en teknik. Deres trick er at behandle data ved hjælp af deep-at lære teknikker til at håndtere ikke-lineære sammenhænge mellem de voxels mere kompetent. Resultatet er en langt bedre måde at rekonstruere den måde en hjerne opfatter billeder.
Changde og co starte med flere datasæt af fMRI scanninger af den visuelle cortex af et menneske kigger på et enkelt billede, en enkelt ciffer eller et enkelt bogstav, for eksempel. Hvert datasæt består af de scanninger, og det oprindelige billede.
Opgaven er at finde en måde at bruge fMRI-scanninger til at reproducere det, der opfattes som billede. Alt i alt, hold har adgang til over 1.800 fMRI scanninger og originale billeder.
De behandler dette som en enkel dyb-learning opgave. De bruger 90 procent af de data, til at træne netværket til at forstå sammenhængen mellem hjerne scanning, og det oprindelige billede.
De så teste netværket på de resterende data ved at fodre den scanninger og beder det til at rekonstruere de originale billeder.
Den store fordel ved denne tilgang er, at netværket lærer, som voxels at bruge til at rekonstruere billedet. At man undgår at behandle data fra dem alle.
Det lærer også, hvordan data fra disse voxels er korreleret. Det er vigtigt, fordi hvis de korrelationer, der ignoreres, skal de ende med at blive behandlet som støj og kasseret. Så den nye strategi—den såkaldte dybt generativ multiview-model—udnytter disse sammenhænge og adskiller dem fra real støj.
For at vurdere den dybe generativ multiview-model, Changde og co sammenligne sine resultater fra en række andre hjernen billede genopbygning teknikker. De gør dette ved hjælp af standard-billed-forhold, metoder til at se hvor tæt de rekonstruerede billeder, der matcher de originale.
Resultaterne gør det til interessant læsning. I almindelighed, de rekonstruerede billeder er klare repræsentationer af originalerne. I mange tilfælde, de er betydeligt mere nøjagtig end andre teknikker kan styre.
Billedet sammenligning målinger bekræfter dette. “Omfattende eksperimentelle sammenligninger viser, at vores tilgang kan rekonstruere visuelle billeder fra fMRI-målinger mere præcist,” siger Changde og co.
Det er interessant at arbejde med store konsekvenser. Evnen til at rekonstruere billeder af hjernen er et vigtigt skridt i arbejdet for at skabe bedre hjerne-maskine-grænseflader. Næste skridt vil være måder at analysere mere komplekse scener og billeder i bevægelse. Changde og co siger, at deres fremgangsmåde kan også anvendes til andre hjernen kodning problemer såsom lyd og fysiske opgaver.
Ud over dette, hvem ved. Fra her, det er kun en kort fantasifulde spring til hjerne-scanning teknikker, der kan afsløre, hvad folk tænker eller drømmer. Bare forestil dig!
Ref: arxiv.org/abs/1704.07575: Deling Dybt Generativ Repræsentation for den Opfattede Billede Genopbygning fra den Menneskelige Hjerne Aktivitet