Microsoft onsdag avduket en ny, dyp læring anti-plattformen er designet for real-time kunstig intelligens, kodenavnet “Project Brainwave,” på Hot Chips 2017.
Plattformen har tre lag:
- en høy-ytelse, distribuert system arkitektur;
- en maskinvare DNN (dyp nevrale nettverk) motor syntetisert på FPGAs (field programmable gate arrays); og
- en kompilator og runtime for lav friksjon distribusjon av profesjonelle modeller.
Prosjektet Brainwave utnytter den massive FPGA-infrastruktur fra Prosjektet Katapult at Microsoft har blitt distribusjon i Azure og Bing løpet av de siste årene.
AI i sanntid
“FPGA er en måte å legge til og bruke dedikert oppgave-spesifikke datakraft rettet til dyp neural nets til konvensjonelle cloud infrastruktur,” sa Doug Henschen, rektor analytiker i Konstellasjonen Forskning.
“Dette gjør det enklere å utvikle for konvensjonelle server kapasitet og la FPGAs gi datakraft nødvendig for AI arbeidsbelastninger,” fortalte han TechNewsWorld.
Feste med høy ytelse FPGAs direkte til Microsofts data center nettverk lar DNNs bli servert som maskinvare microservices, å kalle dem ved en server med ingen programvare i loop. Dette reduserer ventetid og gjør svært høy gjennomstrømning.
“Real-time AI er det endelige målet for de aller fleste prosjekter,” sier Rob Enderle, rektor analytiker på Enderle Group.
“AI bør være i stand til å bevege seg med en hastighet på tanken, eller vil det bare være en avansert skript,” fortalte han TechNewsWorld.
Prosjektet Brainwave ‘ s Guts
Prosjektet Brainwave bruker en myk DNN processing unit, eller DPU, syntetisert på kommersielt tilgjengelige programmable gate arrays. Dette gjør at den skala på tvers av en rekke data-typer, med ønsket datatype være en syntese-tid avgjørelse.
Microsoft er myk DPUs kombinere
ASIC digital signal processing blokker på FPGAs med syntetiserbar logikk for å gi et større og mer optimalisert rekke funksjonelle enheter.
Den DPUs bruke tilpassede, smal-precision data typene som er definert av Microsoft, noe som øker ytelsen uten reelle tap i modellen nøyaktighet. Forskning innovasjoner kan bli innlemmet i hardware-plattform raskt, vanligvis i løpet av uker.
Prosjektet Brainwave inkorporerer en software stack, som støtter Microsoft Kognitiv Toolkit (MCTK) og Googles Tensorflow. Støtte for andre rammer vil bli lagt til senere.
Tensorflow er “den tiden dominerer maskinlæring teknikk,” sa Holger Mueller, rektor analytiker i Konstellasjonen Forskning.
“Som kjøper Microsoft tid til å styrke MCTK,” fortalte han TechNewsWorld.
Microsoft Project Brainwave Demo
På Hot Chips, Microsoft demonstrerte Prosjektet Brainwave system oversatt til Intels 14nm Stratix 10 FPGA.
Det gikk et inngjerdet tilbakevendende unit (GRU) – modellen som er fem ganger større enn
Resnet-50 uten batching, ved hjelp av Microsofts tilpasset 8-bit floating point format (ms-fp8).
Det vedvarende 39.5 Tflops av data, kjører hver forespørsel på under ett millisekund.
Microsoft vil bringe Prosjektet Brainwave til Azure brukere, supplerer indirekte tilgang via tjenester som Bing.
“Dette er et godt sted å begynne for mange av Microsofts AI innsats,” sa Ray Wang, rektor analytiker i Konstellasjonen Forskning.
“Hva er det som er synlig mangler er en rik nevrale nettverk. Du kan ikke gjøre machine learning eller AI-uten en,” sa han TechNewsWorld.
Svindel-gjenkjenning, detaljhandel masse personalisering i stor skala, dynamisk prissetting og forsikring justering er blant virksomheter som vil ha nytte av real-time AI, Wang bemerket.
Arbeider Med Konkurrenter
De fleste kundene og teknologi-partnere som Konstellasjonen har snakket med har gått til Google Cloud Plattform ved hjelp av Tensorflow, Wang sa.
Google vil være Microsofts største konkurrent på første, han spådde.
“I det lange løp, vil det være de med massive beregne makt som vil føre AI,” Wang sa, “slik som Facebook, Hydrogen, Tencent og Amazon.”
Den FPGA-basert tjeneste “vil sannsynligvis bli en populær og kostnadseffektive alternativet, men Microsoft vil sikkert også tilbyr GPU infrastruktur valg som er rettet mot AI,” Henschen bemerket. “IBM og Google har både ført GPU beregne makt til sine respektive skyer.”
Richard Adhikari har vært en ECT Nyheter Network reporter siden 2008. Hans fokusområder inkluderer cybersecurity, mobil teknologi, CRM, databaser, utvikling av programvare, stormaskin og mid-range computing og app-utvikling. Han har skrevet og redigert for en rekke publikasjoner, inkludert Informasjon Uken, og Computerworld. Han er forfatter av to bøker på klient/server-teknologi.
E-Richard.