Idag finns det många datorprogram som kan med varierande grader av framgång att läsa på läpparna vad han för närvarande säger. Som en regel, erkännande noggrannhet av sådana program får inte överstiga 52%, vilket är ganska bra, men fortfarande långt ifrån perfekt. Även de flesta professionella lärare för döva kan uppnå en noggrannhet av endast 50-60%. Och forskare från Oxford University har lyckats utveckla en algoritm LipNet, läsa läppar med en noggrannhet på till 93,4%, vilket är i särklass den oöverträffade resultat.
Hemligheten med så hög prestanda i det nya programmet är att det är inte ett försök att analysera ord separat från varandra, och uppfattar meningen som helhet, och sedan använda tekniken för djupt lärande och fortsätter till avkodning av verbala sekvens. I själva verket, vi har avancerad neurala nätverk kan med hög sannolikhet att gissa nästan varje ord, medan de som inte har tillgång till auditiv information. Omfattningen av tillämpningen av denna algoritm är enorm, men först och främst kan det vara en livlina för många människor med dålig eller ingen hörsel.
Forskarna tvungna att skotta en hel del av befintliga studier inom detta område utforska dussintals andra algoritmer för att identifiera sina svagheter och för att förstå i vilken riktning att gå vidare, för att förbättra tekniken. Resultaten är imponerande. Tills, förstås, LipNet kunna känna igen läppar enbart engelsktalande tal. Men i framtiden kan ingen bryr sig om att lära det nya systemet för hennes språk. Du kan se hur algoritmen i videon, som publicerades på den officiella kanalen för en av forskarna.
Forskare utveckla algoritm för ultra-exakta läppavläsning
Sergey Grå