Amazon pristatė sistemą, skirtą aptikti tyliuosius duomenų sugadinimus (SDC) paskirstyto mokymo metu, kai sugedusi įranga pateikia klaidingus skaičiavimus be jokių įspėjamųjų žurnalų. Integravę tris pasirinktines patikras – gradientų baigtinumo, žiedinio atkūrimo ir svorių atspaudų – į savo PyTorch DDP mokymo ciklus, galite identifikuoti, izoliuoti ir pakeisti neveikiančius mazgus.
„Google“ pristatė dvi naujas SQL funkcijas „AlloyDB“ – ai.classify ir ai.extract, leidžiančias atlikti „Gemini“ pagrįstas operacijas tiesiogiai „PostgreSQL 18“ aplinkoje. Šios funkcijos automatizuoja nestruktūrizuoto teksto apdorojimą, pavyzdžiui, nuotaikų analizę ar JSON išgavimą, nereikalaujant papildomų programinių tarpinių sluoksnių.
NVIDIA į savo „AI Cluster Runtime“ (AICR) įrankį integravo atvirojo kodo „k8s-aibom“ projektą. Tai leidžia platformų komandoms automatiškai generuoti ir audituoti dirbtinio intelekto komponentų sąrašus (AIBOM) Kubernetes aplinkoje, identifikuojant modelius, išvados (inference) aplinkas bei priklausomybes.
NVIDIA pristatė „NVIDIA Kubernetes Engine“ (NVKE) ir „NVIDIA Kubernetes Recipes“ (NVKR) kaip atvirojo kodo projektus viešajai peržiūrai. Šie įrankiai skirti padėti kurti, diegti ir valdyti „Kubernetes“ klasterius, specialiai optimizuotus GPU pagreitinamiems darbams.
„NVIDIA“ pristatė atviro kodo įrankį „NVIDIA Snapshot“, skirtą GPU darbo krūviams „Kubernetes“ aplinkoje. Įrašydama pilnai sukonfigūruotus modelius ir jų būsenas, sistema leidžia išvadų (inference) replikoms atsigauti per sekundes, o ne minutes, taip pašalinant pasikartojančius inicijavimo etapus.
Dabar galite kurti ir vizualizuoti programas, naudojančias Google Maps, Places ir Routes duomenis, tiesiogiai Google AI Studio aplinkoje. Naudojant natūralios kalbos užklausas, platforma automatiškai tvarko API konfigūraciją ir raktų valdymą, siūlydama nemokamą aplinką eksperimentams prieš pradedant gamybinį naudojimą.
„Amazon SageMaker Inference“ pristatė NVIDIA „Multi-Instance GPU“ (MIG) palaikymą, leidžiantį padalyti vieną fizinį GPU į kelis nepriklausomus vienetus. Šis aparatinis padalijimas suteikia kiekvienai particijai skirtą skaičiavimo galią ir atmintį, užtikrinant nuspėjamą delsą ir griežtą izoliaciją tarp modelių, esančių tame pačiame akceleratoriuje.
NVIDIA išleido „NVIDIA Attribution“ – atvirojo kodo įrankį, skirtą žurnalams, metrikoms ir planuoklio būsenoms koreliuoti į struktūrizuotas paskirstytų DI mokymo darbų diagnostikas. Įrankis automatiškai išskiria pagrindinę gedimo priežastį iš šalutinių simptomų (pvz., NCCL klaidų), taip padėdamas infrastruktūros komandoms efektyviau valdyti didelio masto GPU sistemas.
NVIDIA Recovery yra nauja atviro kodo paslauga, sukurta palaikyti mokymų produktyvumą automatizuojant klaidų šalinimą GPU klasteriuose. Ji pakeičia rankinę priežiūrą sistemingu procesu, kuris aptinka klaidas, nustato jų priežastis ir inicijuoja perkrovimus arba atskirų mazgų izoliavimą.
NVIDIA pristatė „Workload Map“ – įrankį, skirtą suteikti bendrą būdą „Kubernetes“ planuokliams ir platformoms interpretuoti įvairius paskirstytus dirbtinio intelekto darbo krūvius. Naudojant deklaratyvius YAML apibrėžimus, nebereikia kurti specialių pritaikymo adapterių kiekvienai naujai sistemai, tokiai kaip „JobSet“, „Ray“ ar „KServe“.
„NVIDIA“ pristatė „AI Cluster Runtime“ (AICR), skirtą „Dynamo“ išvesties infrastruktūrai sujungti į patikrintus diegimo šablonus. Šis atnaujinimas supaprastina diegimą, fiksuodamas versijas ir pašalindamas privalomas išorines priklausomybes, pvz., „NATS“, bei pristatydamas naujus „KV-aware“ maršrutizavimo kelius „Kubernetes“ aplinkoje.
Efektyvus automatizavimas priklauso nuo to, kaip jūsų sistemos reaguoja į API apribojimus. Šiame straipsnyje paaiškinamas skirtumas tarp „rate limiting“ (griežti limitai, sukeliantys 429 klaidas) ir „throttling“ (užklausų vėlinimas) bei pateikiamos strategijos, tokios kaip eksponentinis atsitraukimas („exponential backoff“), „jitter“ ir aktyvus paketavimas patikimumui užtikrinti.
AWS pristatė paruoštus „Ray Train“ gilaus mokymosi konteinerius (DLC), kuriuose viename patikrintame atvaizde sujungtos „PyTorch“, „CUDA“, „NCCL“ ir „EFA“ tinklo bibliotekos. Tai leidžia jūsų įmonei diegti paskirstytojo mokymo grupes „Amazon EKS“ platformoje, nereikalaujant prižiūrėti pritaikytų atvaizdų kūrimo procesų ar spręsti sudėtingų tvarkyklių suderinamumo problemų.
AWS atnaujino savo „QA Studio“ etaloninį sprendimą, pridedant gimtąjį palaikymą kelių komandų organizacinėms struktūroms. Naujos galimybės apima programų lygio nuosavybę, automatizuotą sveikatos vertinimą remiantis „CloudWatch“ metrikomis ir granuliuotą vaidmenimis pagrįstą prieigos valdymą.