EuroWire , SAN FRANCISCO : Spoločnosť Microsoft 26. januára predstavila Maia 200, druhú generáciu svojho interného akcelerátora umelej inteligencie, ktorý je navrhnutý na spúšťanie modelov umelej inteligencie v produkčnom prostredí v dátových centrách Azure. Spoločnosť uviedla, že Maia 200 je navrhnutá pre inferenciu, fázu, v ktorej trénované modely generujú odpovede na živé požiadavky, a bude sa používať na podporu rôznych služieb umelej inteligencie od spoločnosti Microsoft.
Maia 200 sa vyrába 3-nanometrovým procesom spoločnosti TSMC a obsahuje viac ako 140 miliárd tranzistorov, uviedol Microsoft . Čipy pracujú s novým pamäťovým systémom, ktorý obsahuje 216 gigabajtov vysokopásmovej pamäte HBM3e a približne 272 megabajtov integrovanej SRAM pamäte, zameranej na podporu generovania tokenov vo veľkom meradle a iných úloh s vysokou inferenciou.
Spoločnosť Microsoft uviedla, že Maia 200 poskytuje výkon viac ako 10 petaflopov s presnosťou na 4 bit a približne 5 petaflopov s presnosťou na 8 bit, čo sú formáty bežne používané na efektívne spúšťanie modernej generatívnej umelej inteligencie . Spoločnosť tiež uviedla, že systém je navrhnutý s výkonom 750 wattov a je postavený so škálovateľnou sieťou, takže čipy je možné prepojiť pre väčšie nasadenia.
Spoločnosť uviedla, že nový hardvér sa začal spúšťať v dátovom centre Azure US Central v Iowe a plánuje sa ďalšie pobočky v Arizone. Microsoft označil systém Maia 200 za svoj doteraz najefektívnejší inferenčný systém a v porovnaní s existujúcimi inferenčnými systémami zaznamenal 30 % zlepšenie výkonu na dolár.
Zameranie na inferenciu umelej inteligencie a nasadenie Azure
Spoločnosť Microsoft uviedla, že čip Maia 200 je určený na podporu produktov a služieb umelej inteligencie, ktoré sa spoliehajú na vykonávanie modelov s vysokým objemom a nízkou latenciou, vrátane pracovných záťaží bežiacich v Azure a vlastných aplikáciách spoločnosti Microsoft. Spoločnosť uviedla, že čip a okolitý systém navrhla ako súčasť komplexného infraštruktúrneho prístupu, ktorý zahŕňa kremík, servery, siete a softvér na nasadenie modelov umelej inteligencie vo veľkom meradle.
Spolu s čipom spoločnosť Microsoft oznámila skorý prístup k vývojárskej súprave softvéru Maia pre vývojárov a výskumníkov pracujúcich na optimalizácii modelov. Spoločnosť uviedla, že nástroj je zameraný na pomoc tímom pri zostavovaní a ladení modelov pre systémy založené na platforme Maia a je štruktúrovaný tak, aby zapadal do bežných pracovných postupov vývoja umelej inteligencie používaných na nasadenie inferencie v cloude.
Tvrdenia o výkone a podpora modelu
Spoločnosť Microsoft uviedla, že čip Maia 200 je navrhnutý na spúšťanie rozsiahlych jazykových modelov a pokročilých systémov uvažovania a že sa bude používať na interné a hostované nasadenie modelov v Azure. Spoločnosť umiestnila čip ako akcelerátor produkčnej inferencie, čím ho odlišuje od systémov zameraných na trénovanie, ktoré sa zvyčajne používajú na vytváranie modelov pred nasadením.
Spoločnosť Microsoft zrýchlila prácu na zákazkových kremíkových procesoroch, keďže dopyt po výpočtoch určených pre generatívne aplikácie umelej inteligencie vzrástol, pričom náklady a dostupnosť akcelerátorov môžu ovplyvniť rýchlosť škálovania služieb. Maia 200 nasleduje po Maia 100, ktorú spoločnosť Microsoft predstavila v roku 2023, a predstavuje najnovšiu verziu špecializovanej rady akcelerátorov umelej inteligencie pre inferenciu v dátových centrách.
Príspevok Microsoft predstavuje akcelerátor Maia 200 postavený na inferencii modelov umelej inteligencie sa prvýkrát objavil na Bedworth Echo .