Billede: Sociale Medier Middag/Flickr
Forskere ved MIT har udviklet dybt-læring algoritme, der kan udarbejde en liste over ingredienser og endda anbefale opskrifter efter at have kigget på billeder af mad. Den kunstigt intelligent system mangler stadig nogle finjusteringer, men dette værktøj kan i sidste ende hjælpe os med at lære at lave mad, tælle kalorier, og holde styr på vores spisevaner.
Forestil dig at være i stand til at snuppe et billede af et måltid, du fortærer på din favorit restaurant, og som har en smartphone app, giver du med listen over ingredienser, og endnu en opskrift til at hjælpe dig med at gøre det derhjemme. Forskere fra MIT ‘ s Computer Science and Artificial Intelligence Laboratory (CSAIL) har taget os et skridt tættere på dette mål ved at begynde at træne et system til at gøre præcis det.
Ved hjælp af machine learning, programmet analyserer billeder af mad, og ved henvisning til en omfattende database, så forudsiger en liste af ingredienser og anbefaler en opskrift. I tests, systemet var i stand til at hente den rigtige opskrift på omkring 65 procent af tiden. Det er en rimelig succesrate, især i betragtning af, hvor kompliceret og varieret nogle måltider kan få.
For at gøre det arbejde, en forskergruppe ledet af CSAIL ph.d. – studerende Nicholas Hynes indsamlet data fra hjemmesider som Alle Opskrifter og Food.com at oprette en database, kaldet Recipe1M, der indeholder over en million opskrifter. Alle opskrifter blev kommenteret med oplysninger om de ingredienser, der findes i en bred vifte af retter. En neurale netværk blev sluppet løs på denne guldgrube af data, at finde mønstre og forbindelser mellem billeder af mad og matchende ingredienser og opskrifter.
Så når det gives et billede af en muffin, for eksempel, systemets, døbt Pic2Recipe, kan en korrekt identifikation af ingredienser såsom mel, æg og smør. Derefter foreslår en række opskrifter fra de Recipe1M database, som er det tal, der er tættest på.
Som Hynes fortalte Gizmodo, systemet er mere end blot en fødevare anerkendelse program.
“At programmet genkender mad er virkelig blot en bivirkning af, hvordan vi brugte de tilgængelige data til at lære dybt repræsentationer af opskrifter og billeder,” sagde han. “Hvad vi virkelig at udforske er den latente begreber fanget af modellen. For eksempel, har den model opdaget betydningen af “stegt”, og hvordan det relaterer til ‘dampet?’ Vi mener, at det er, og vi er nu forsøger at uddrage viden fra model til, at downstream-programmer, som omfatter at forbedre befolkningens sundhed.”
Hynes siger, at systemet i sin nuværende form, er ikke beregnet til at forudsige ingredienser direkte.
“Hvad du kan gøre, er imidlertid at indkode et billede og vende tilbage ingredienser, der er forbundet med de fleste lignende opskrift,” Hynes fortalte Gizmodo. “Det, der adskiller dette fra et omvendt billede søgning er, at vi går direkte fra billede til opskriften i stedet for blot at vende tilbage til den opskrift, der er forbundet med de fleste lignende billede; i andre ord, vi vender tilbage til den opskrift, der, ifølge modellen, var mest tilbøjelige til at have produceret søge billede.”
Systemet klaret sig godt med forholdsvis enkle fødevarer, såsom småkager eller muffins. Men når de konfronteres med mere komplekse og tvetydige fødevarer, såsom sushi ruller eller smoothies, systemet kæmpet. Det havde også en hård tid parsing fødevarer, for hvilke der er en næsten uendelig forsyning af opskrifter. Lasagne er et godt eksempel. Der er ligesom en gajillion måder at lave en lasagne, så CSAIL havde forskere sørg for, at AI ‘ en ikke ville “straffe” eller udelukke opskrifter der var ens, når de forsøger at parse en lasagne fra den anden. Et work-around, var at få AI for at se, om de ingredienser, der på hver opskrift var generelt lignende, før man sammenligner de opskrifter sig selv.
Vendes blikket fremad, forskere håber på at træne systemet sådan, at det bedre kan forstå, hvordan maden er tilberedt (fx kogning, stegning, udskæring, dicing), og til at fortælle forskelle mellem fødevarer typer (fx svampe og løg). De er også i håb om at gøre systemet til en “middag assistent”, hvor en person kan indtaste deres ernæringsmæssige præferencer og en liste af fødevarer til rådighed i hjemmet, og AI udtænker et måltid baseret omkring disse begrænsninger.
“Dette kan potentielt hjælpe mennesker med at finde ud af, hvad der er i deres mad, når de ikke har eksplicitte ernæringsmæssige oplysninger,” sagde Hynes. “For eksempel, hvis du ved, hvad der gik ingredienser i en skål, men ikke det beløb, du kan tage et foto, skal du indtaste ingredienser, og køre modellen for at finde en lignende opskrift med kendte mængder, og derefter bruge oplysningerne til at omtrentlige dit eget måltid.”
Begrebsmæssigt, systemet bør også være i stand til at udføre en kalorie-kontoen, og ja, Hynes er i øjeblikket ved at undersøge dette.
Det vil være et stykke tid før du kan se en app som denne på din smartphone, men selv når det synes, et system som dette vil for evigt tjene som en grov vejledning. Bare fordi du ved, at ingredienserne i et måltid, og hvordan det måske er blevet sat sammen for ikke pludselig at betyde, at du er en mester kok.
Den CSAIL team planer om at præsentere sine resultater senere i denne måned på Computer Vision og mønstergenkendelse konference i Honolulu.