Afbeelding: Social Media Diner/Flickr
Onderzoekers van MIT hebben diepe-learning algoritme dat kan de samenstelling van een lijst van ingrediënten en zelfs aanraden recepten na te kijken op foto ‘ s van voedsel. De kunstmatig intelligent systeem moet nog wat fine-tuning, maar deze tool kan uiteindelijk helpen ons te leren om te koken, calorieën tellen, en het bijhouden van onze eetgewoonten.
Stel je voor dat je in staat zijn om snap een foto van een maaltijd je verslinden in uw favoriete restaurant, en het hebben van een smartphone-app bieden u de lijst van de ingrediënten, en zelfs een recept om u te helpen thuis. Onderzoekers van MIT ‘ s Computer Science and Artificial Intelligence Laboratory (CSAIL) hebben genomen ons een stap dichter bij dit doel door te beginnen met het opleiden van een systeem om precies dat te doen.
Met behulp van machine learning, het programma analyseert nog steeds beelden van voedsel, en door te verwijzen naar een enorme database, dan voorspelt een lijst van ingrediënten en pleit voor een recept. In tests, het systeem is in staat om op te halen de juiste recept ongeveer 65 procent van de tijd. Dat is een redelijk goed slagingspercentage, met name gelet op hoe gecompliceerd en gevarieerd sommige maaltijden kunt krijgen.
Om het te laten werken, een onderzoeksteam geleid door CSAIL student Nicholas Hynes verzamelde gegevens van websites zoals Alle Recepten en Food.com om een database te maken, de zogenaamde Recipe1M, met meer dan een miljoen recepten. Alle recepten werden geannoteerd met informatie over de ingrediënten in een grote verscheidenheid aan maaltijden. Een neuraal netwerk is ingesteld los op deze schat aan gegevens, zoek patronen en verbindingen tussen de foto ‘ s van de gerechten en de bijpassende ingrediënten en recepten.
Dus wanneer je over een foto van een muffin, bijvoorbeeld, het systeem, genaamd Pic2Recipe, kon het correct identificeren van ingrediënten, zoals meel, eieren en boter. Zij stelt vervolgens een aantal recepten uit binnen de Recipe1M database die cijfers is de beste match.
Als Hynes zei Gizmodo, het systeem is meer dan alleen een voedingsmiddel erkenning programma.
“Dat het programma herkent eten is echt gewoon een bijwerking van hoe we met de beschikbare gegevens om te leren diep verklaringen van recepten en afbeeldingen’, zei hij. “Wat we echt aan het verkennen zijn de latente concepten vastgelegd door het model. Bijvoorbeeld, heeft het model ontdekt de betekenis van ‘gebakken’ en hoe het zich verhoudt tot ‘gestoomde?’ Wij geloven dat het waar is en we proberen nu in voor het uitpakken van de kennis van het model voor het inschakelen van de downstream-toepassingen, waaronder het verbeteren van de volkeren’ gezondheid’.
Hynes zegt dat het systeem in haar huidige vorm, is niet bedoeld om te voorspellen ingrediënten rechtstreeks.
“Wat je wel kunt doen, is het coderen van een afbeelding en de terugkeer van de ingrediënten die geassocieerd worden met de meest vergelijkbaar recept,” Hynes zei Gizmodo. “Wat onderscheidt deze van reverse image search is dat wij gaan direct van het beeld op recept in plaats van gewoon terug het recept geassocieerd met het meest vergelijkbaar beeld; in andere woorden, keren we terug het recept dat, volgens het model, is waarschijnlijk te hebben geproduceerd de query beeld.”
Het systeem deed het goed met een relatief eenvoudige voedsel, zoals koekjes of muffins. Maar wanneer ze geconfronteerd worden met meer complexe en ambigue gerechten, zoals sushi of smoothies, het systeem geworsteld. Het had ook een harde tijd het parseren van voedingsmiddelen voor, waarvan er een bijna eindeloos aanbod van recepten. Lasagne is een goed voorbeeld. Er zijn een gajillion manieren om een lasagne, zodat de CSAIL onderzoekers moest ervoor zorgen dat de AI niet zou “bestraffen” of uitsluiten van recepten die zijn weg probeert te ontleden, een lasagna van een ander. Een work-around is om de AI te zien als de ingrediënten van elk recept waren over het algemeen vergelijkbaar voor het vergelijken van de recepten zelf.
Vooruitblikkend, de onderzoekers hopen het systeem te trainen dat het beter begrijpen van de manier waarop voedsel wordt bereid (bv. koken, bakken, snijden, het in dobbelstenen snijden), en te vertellen wat de verschillen tussen de soorten voedsel (bijv. champignons en uien). Ze zijn ook in de hoop om te zetten in een “diner aide,” waar kan een persoon sleutel in hun voedingsgewoonten en een lijst van voedsel items die beschikbaar zijn in het huis, en AI bedenkt een maaltijd rond deze beperkingen.
“Dit kan mogelijk mensen helpen erachter te komen wat er in hun eten als ze geen expliciete informatie over de voedingswaarde,” zei Hynes. “Bijvoorbeeld, als je weet wat de ingrediënten ging in een schotel, maar niet het bedrag, kunt u een foto maken, voert u de ingrediënten, en draai het model om te zoeken naar een vergelijkbaar recept met bekende hoeveelheden, en die gegevens vervolgens gebruiken om bij benadering uw eigen maaltijd te bereiden.”
Conceptueel, moet het systeem ook in staat zijn tot het uitvoeren van een calorie-account, en inderdaad, Hynes is momenteel op zoek naar deze.
Het zal wel een tijdje voordat je een app zoals deze op uw smartphone, maar zelfs als het niet wordt weergegeven, een systeem als dit voor altijd zal dienen als een indicatie. Gewoon omdat je weet dat de ingrediënten van een maaltijd en hoe het zou zijn samen niet ineens zeggen dat je een meester-kok.
De CSAIL team plannen te presenteren van haar bevindingen later deze maand op de Computer Vision en patroonherkenning conference in Honolulu.