Microsoft på onsdagen presenterade en ny djup lärande acceleration plattform som utformats för att i realtid artificiell intelligens, med kodnamnet “Projekt Snilleblixt,” på Hot Chips 2017.
Plattformen består av tre lager:
- en högpresterande, distribuerad systemarkitektur;
- en hårdvara DNN (djup neurala nätverk) motor syntetiseras på Fpga (field programmable gate arrays); och
- en kompilator och runtime för låg friktion utbyggnaden av utbildade modeller.
Projektet Snilleblixt utnyttjar den massiva FPGA-infrastruktur från Projektet Katapult som Microsoft har varit utbyggnaden i Azure och Bing under de senaste åren.
AI i realtid
“FPGA är ett sätt att lägga till och tillämpa särskild uppgift-specifika datorkraft inriktad på att djupt neurala nät till konventionella som den molnbaserade infrastrukturen,” sade Doug Henschen, förste analytiker på Constellation Research.
“Detta gör det enklare att utveckla för konventionella server kapacitet och låt Fpga: er ger den datorkraft som krävs för AI arbetsbelastning”, sa han till TechNewsWorld.
Fästa hög prestanda Fpga: er direkt till Microsofts nätverk av datacenter kan DNNs serveras som hårdvara microservices, att kalla dem av en server med någon programvara i slingan. Detta minskar fördröjningar och ger mycket hög genomströmning.
“Real-time AI är det slutliga målet för den stora majoriteten av projekt,” säger Rob Enderle, förste analytiker på Enderle Group.
“AI ska kunna röra på tankens hastighet, eller det ska bara vara en avancerad script”, sa han till TechNewsWorld.
Projektet Snilleblixt Tarmar
Projektet Snilleblixt använder en mjuk DNN-processing unit, eller DPU, syntetiseras på kommersiellt tillgängliga programmable gate arrays. Detta gör att den kan skala inom en rad olika datatyper, med önskad data, typ som en syntes-tid beslut.
Microsofts mjuk DPUs kombinera
ASIC digital signalbehandling block på Fpga: er med synthesizable logik för att ge en större och mer optimerat antal funktionella enheter.
Den DPUs använda kundanpassade, smala precision datatyper definieras av Microsoft, som ökar prestanda utan att verkliga förluster i modell precision. Forskning innovationer kan införlivas i hårdvaruplattform snabbt, oftast i veckor.
Projektet Snilleblixt innehåller en programvara stack stödja Microsoft Kognitiva Toolkit (MCTK) och Googles Tensorflow. Stöd för andra ramar kommer att läggas till senare.
Tensorflow är “den för tillfället dominerande tekniken machine learning”, säger Holger Müller, förste analytiker på Constellation Research.
“Som köper Microsoft tid för att stärka MCTK”, sa han till TechNewsWorld.
Microsoft Project Snilleblixt Demo
På Hot Chips, visade Microsoft Projektet Snilleblixt system anpassat för Intels 14nm Stratix 10 FPGA.
Det sprang en gated återkommande enhet (GRU) modell fem gånger större än
Resnet-50 med ingen dosering, med hjälp av Microsofts egen 8-bitars floating point-format (ms-fp8).
Det ihållande och 39,5 Tflops av data, som körs varje förfrågan under en millisekund.
Microsoft kommer att föra Projektet Snilleblixt till Azure användare, som komplement till indirekt tillträde genom tjänster såsom Bing.
“Detta är ett bra ställe att börja på för många av Microsofts AI insatser”, säger Ray Wang, förste analytiker på Constellation Research.
“Vad som varit synligt saknas är en rik neurala nätverk. Du kan inte göra maskininlärning-eller AI-utan en,” han berättade TechNewsWorld.
Spårning av bedrägerier, detaljhandel massa personalisering i stor skala, dynamisk prissättning och försäkring justering är bland de företag som skulle ha nytta av i realtid AI, Wang noteras.
Handlar Med Konkurrenter
De flesta kunder och partners teknik som Konstellation har talat med har gått till Google Cloud Platform med Tensorflow, sade Wang.
Google kommer att Microsofts största konkurrent på första, han förutspått.
“I det långa loppet kommer det att vara de med massiva beräkna kraft som kommer att leda AI,” Wang sade, “såsom Facebook, Alibaba, Tencent och Amazon.”
Den FPGA-baserad tjänst “kommer sannolikt att vara en populär och kostnads-effektiva alternativet, men Microsoft kommer säkert också att erbjuda GPU infrastruktur alternativ inriktad på att AI liksom,” Henschen anmärkte. “IBM och Google har både fört GPU beräkna makt till sina respektive moln.”
Richard Adhikari har varit en ECT News Network reporter sedan 2008. Hans fokusområden omfatta it-säkerhet, mobil teknik, CRM, databaser, utveckling av programvara, stordator och mid-range design, utveckling och tillämpning. Han har skrivit och redigerat ett flertal publikationer, bland annat Information Vecka och Computerworld. Han är författare till två böcker om klient/server-teknik.
E-Post Richard.