Microsoft onsdag afslørede en ny dyb læring acceleration platform for real-time kunstig intelligens, med kodenavnet “Project Lys,” på Hot Chips 2017.
Platformen har tre lag:
- en high-performance, distribueret system arkitektur;
- en hardware DNN (dybt neurale netværk) motor syntetiseret på Fpga (field programmable gate arrays); og
- en compiler og runtime for lav friktion implementering af uddannet modeller.
Projektet Brainwave udnytter den massive FPGA-infrastruktur fra Projektet Katapult, at Microsoft har været implementering i Azure og Bing i løbet af de seneste par år.
AI i realtid
“FPGA er en måde at tilføje og anvende dedikeret opgave-specifikke computerkraft, der er gearet til dyb neurale net til konventionelle cloud-infrastruktur,” sagde Doug Henschen, ledende analytiker hos Constellation Research.
“Det gør det nemmere at udvikle til konventionelle server-kapacitet, og lad Fpga give den computerkraft, der er nødvendige for AI arbejdspres,” fortalte han TechNewsWorld.
Montering af high-performance Fpga direkte til Microsoft ‘ s datacenter netværk lader DNNs serveres som hardware microservices, at kalde dem af en server med ingen software i løkken. Dette reducerer ventetid og giver meget høj kapacitet.
“Real-time AI er det endelige mål for det store flertal af projekter,” siger Rob Enderle, ledende analytiker hos Enderle Group.
“AI bør være i stand til at bevæge sig med tankens hastighed, eller det vil bare være en avanceret script,” fortalte han TechNewsWorld.
Projektet Brainwave er Modet
Projektet Brainwave bruger en blød DNN processing unit, eller DPU, syntetiseret på kommercielt tilgængelige, programmerbare gate arrays. Dette lader det skalere på tværs af en række datatyper, med den ønskede datatype at være en syntese-tid afgørelse.
Microsoft ‘ s bløde DPUs kombinere
ASIC digital signal processing blokke på Fpga ‘ er med synthesizable logik til at give en større og mere optimeret antallet af funktionelle enheder.
Den DPUs brug tilpassede, smalle præcision datatyper er defineret af Microsoft, som øger performance, uden at det reelle tab i model nøjagtighed. Forskning innovationer kan indarbejdes i hardware platform hurtigt, typisk i uger.
Projektet Brainwave indeholder en software stack, der understøtter Microsoft Kognitive Toolkit (MCTK) og Google ‘ s Tensorflow. Støtte til andre rammer vil blive tilføjet senere.
Tensorflow er “den aktuelt dominerende machine learning teknik,” sagde Holger Müller, ledende analytiker hos Constellation Research.
“Der køber Microsoft tid til at styrke MCTK,” fortalte han TechNewsWorld.
Microsoft ‘ s Projekt Brainwave Demo
På Hot Chips, Microsoft viste Projektet Brainwave system porteret til Intel ‘ s 14nm Stratix 10 FPGA.
Det løb en låge tilbagevendende enhed (GRU) model med fem gange større end
Resnet-50 med nogen samling, ved hjælp af Microsoft ‘ s custom 8-bit floating point format (ms-rp 8).
Det vedvarende 39.5 Tflops af data, der kører hver anmodning på under et millisekund.
Microsoft vil bringe Projektet Brainwave til Azure brugere, der supplerer indirekte adgang gennem tjenester såsom Bing.
“Dette er et godt sted at starte, for mange af Microsoft’ s AI indsats,” sagde Ray Wang, der er ledende analytiker hos Constellation Research.
“Hvad er der blevet synligt mangler, er en rig neurale netværk. Du kan ikke gøre machine learning-eller AI-uden den ene,” han fortalte TechNewsWorld.
Afsløring af svig, detail masse personalisering på skalaen, dynamisk prissætning og forsikring regulering er blandt de virksomheder, der vil drage fordel af real-time AI, Wang har bemærket.
Beskæftiger Sig Med Konkurrenter
De fleste kunder og teknologi-partnere, der Konstellation har talt med, har gået til Google Cloud Platform ved hjælp af Tensorflow, Wang sagde.
Google vil blive Microsofts største konkurrent på det første, han forudsagde.
“I det lange løb, vil det være dem med massiv compute magt, der vil føre AI,” sagde Wang, “såsom Facebook, Alibaba, Tencent og Amazon.”
FPGA-baseret service “vil sandsynligvis blive en populær og omkostningseffektiv løsning, men Microsoft vil helt sikkert også byde på GPU infrastruktur muligheder, der er gearet til AI som godt,” Henschen bemærkede. “IBM og Google har begge bragt GPU compute magt til deres respektive skyer.”
Richard Adhikari har været en ECT News Network reporter siden 2008. Hans fokusområder omfatter cybersecurity, mobile teknologier, CRM, databaser, software udvikling, mainframe og mid-range design, udvikling og anvendelse. Han har skrevet og redigeret en lang række publikationer, herunder Oplysninger Uge og Computerworld. Han er forfatter til to bøger om klient/server-teknologi.
E-Mail Richard.