Hvilke fordele kan bringe de neurale netværk for film, computerspil og virtual reality

Med udviklingen af teknologier af neurale netværk og machine learning, og udvide deres anvendelsesområde. Hvis den tidligere neurale netværk, der udelukkende blev anvendt til at udføre komplekse matematiske, medicinske, fysiske, biologiske, beregninger og prognoser, men nu er disse teknologier er ved at vinde bred popularitet i mere “hverdagsagtige” miljøer – inden for underholdning. Gør kun det første skridt i denne retning, de er i stand til at påvise, overraskende og nogle gange endda fremragende resultater. I dag lad os se på et par eksempler.

Processen af remastering, den video er så komplekse og tidskrævende, at mange af de mesterværker af verden klassikere, vi måske aldrig har set det med nye, moderne, klart og saftige billede. Men verden er fuld af intelligent fans og entusiaster, der er velbevandret i ny teknologi, navnlig i forbindelse teknologier af neurale netværk og machine learning, med hjælp af hvilket du kan opnå fantastiske resultater, selv hjemme. For eksempel, en YouTube-bruger Stefan vommen alias CaptRobau besluttet at vise nogle af funktionerne, af neurale netværk i behandlingen video af den gamle sci-Fi serie.

Hans tidligere arbejde er Remako Mod — “HD-remake” af det klassiske og meget populære Japanske ROLLESPIL Final Fantasy VII kaldet. Til dette brugte han AI-algoritme AI Gigapixel, som var i stand til at skalere billedet af den oprindelige billede 4 gange, flytter den i HD-opløsning uden nogen væsentlige ændringer i forhold til den oprindelige art design. Således, mens du bliver nødt til at vente endnu et årti, til det tidspunkt, hvor Japanske udvikler og udgiver af computer spil, Square Enix vil officielt release reproduktion, hvilket nok er en af de bedste dele af dette spil serien, kan du prøve en mod Stefan vommen selv ved at hente det fra denne hjemmeside.

Af den måde, der for nylig teknologi fra neurale netværk til remastering gamle spil, og bringe dem til en mere relevant og moderne uden at ændre den overordnede oprindelige koncept er blevet en reel tendens blandt de forskellige modders. For eksempel, for ikke så længe siden fortalte vi jer om ESRGAN teknologi (Enhanced Super Opløsning Generativ Kontradiktorisk Netværk, som har gennemført teknologier til skalering af billeder med en 2-8-fold stigning i kvalitet. Algoritme “fodre” den oprindelige billede med lav opløsning, så er det ikke kun øger den native opløsning af de nyeste, men også øger billedkvaliteten, Podrezova livagtige detaljer og gøre tekstur “mere naturligt”.

Sammenligning af kvaliteten af teksturer: til venstre er den oprindelige struktur fra spillet Morrowind, til højre er behandlet af neurale netværk

Karakter fra Doom (venstre havde ret)

Baggrunden behandling i spillet Resident Evil 3

For at læse mere og se eksempler ved at klikke på dette link.

Anyway, i mellem remastered “Syvende Finale” Stefan vommen besluttede at gøre et andet projekt, der bruger den samme teknologi, machine learning, men til håndtering af billeder klassiske sci-Fi-serien af 90-erne. Som en genstand for eksperimenter, vommen valgte “Star trek: deep space nine.”

Zoom af “levende billede” af en TV-serie på den kompleksitet, der er meget forskellige fra de skalering i forvejen ofrendering billede Final Fantasy VII, forfatteren bemærker, så det endelige resultat ser meget bedre kilde materiale i lav opløsning, men billedet er stadig langt fra det ideal, som du kunne drømme om, lige siden den udseende på markedet første Blu-ray-afspillere. Lejlighedsvis vises på skærmen en lille “artefakter”. Men, igen, alt i alt det ser mere end værdig. Og, Generelt, se for dig selv.

Til dette projekt vommen også anvendes algoritmen AI Gigapixel, der var trænet i at redigere billeder, der er baseret på virkelige billeder. Forfatteren bemærker, at det nye billede er taget i 1080p og 4k, men da jeg har i øjeblikket ingen TV eller en skærm med indfødte 4K-opløsning, for at vurdere 4K mulighed, han ikke kan.

Ked af at se den vis i Fuld HD er umuligt. Behandling af alle kilde materiale, ville det tage meget lang tid, så vommen til demonstration bruges de individuelle billeder af forskellige serier. Ifølge ham, han startede dette projekt for en grund – for at vise, at det faktisk er muligt. Ifølge ham, er et helt team af fagfolk, der arbejder for en større tv-selskab, og som har en mere velegnet og stærk sådanne edb-udstyr vil være i stand til at klare denne opgave meget bedre.

Brugen af neurale netværk til at forenkle behandlingen af gamle billeder fra video spil og film er ikke de eneste områder, hvor sådanne teknologier er i stand til at vise deres talenter. I den moderne verden, hvor mere og mere populære panorama kamera, der er i stand til at producere en 360 graders vinkel, og headsettet af virtual reality, udviklere begyndte aktivt at udforske potentialet i panorama fotografering.

En af de seneste udviklinger på dette område er de neurale netværk i stand til at stemme panorama statiske billeder. Forfatterne er eksperter inden for machine learning fra mit, Columbia University og George Mason University.

Denne algoritme bestemmer, hvilken type miljø, og objekter i billeder, og vælger derefter og arrangerer lyde fra den anvendte database i overensstemmelse med en fysisk beregning af afstand til deres kilder i dette billede. Takket være dette panorama-billede, vises realistisk og tre-dimensionel lyd, så en helt ny måde at vurdere de præsenterede billede.

Ifølge udviklerne af denne neurale netværk, teknologi kunne finde interesse blandt udviklere af VR indhold (film og spil). Sidstnævnte i dette tilfælde ikke er nødt til at sætte alle de lyde, der på en panoramisk billede manuelt, neurale netværk vil være i stand til at gøre det alene.

Tilmeld dig vores Yandex.Zen. Der kan du finde materialer, der offentliggøres ikke på hjemmesiden.


Date:

by