„Google“ pristatė dvi naujas SQL funkcijas „AlloyDB“ – ai.classify ir ai.extract, leidžiančias atlikti „Gemini“ pagrįstas operacijas tiesiogiai „PostgreSQL 18“ aplinkoje. Šios funkcijos automatizuoja nestruktūrizuoto teksto apdorojimą, pavyzdžiui, nuotaikų analizę ar JSON išgavimą, nereikalaujant papildomų programinių tarpinių sluoksnių.
NVIDIA į savo „AI Cluster Runtime“ (AICR) įrankį integravo atvirojo kodo „k8s-aibom“ projektą. Tai leidžia platformų komandoms automatiškai generuoti ir audituoti dirbtinio intelekto komponentų sąrašus (AIBOM) Kubernetes aplinkoje, identifikuojant modelius, išvados (inference) aplinkas bei priklausomybes.
„NVIDIA“ pristatė atviro kodo įrankį „NVIDIA Snapshot“, skirtą GPU darbo krūviams „Kubernetes“ aplinkoje. Įrašydama pilnai sukonfigūruotus modelius ir jų būsenas, sistema leidžia išvadų (inference) replikoms atsigauti per sekundes, o ne minutes, taip pašalinant pasikartojančius inicijavimo etapus.
„Google Cloud“ pristatė dinaminį TPU (Tensor Processing Unit) skaidymą GKE (Google Kubernetes Engine) aplinkoje, leidžiantį atsieti logines aparatinės įrangos konfigūracijas nuo fizinių mazgų telkinių. Šis atnaujinimas panaikina poreikį rankiniu būdu perkurti mazgų telkinius keičiantis darbo krūviui, taip užtikrinant greitesnį prisitaikymą ir geresnį atsparumą klaidoms.
„Amazon SageMaker Inference“ pristatė NVIDIA „Multi-Instance GPU“ (MIG) palaikymą, leidžiantį padalyti vieną fizinį GPU į kelis nepriklausomus vienetus. Šis aparatinis padalijimas suteikia kiekvienai particijai skirtą skaičiavimo galią ir atmintį, užtikrinant nuspėjamą delsą ir griežtą izoliaciją tarp modelių, esančių tame pačiame akceleratoriuje.
NVIDIA pristatė „Workload Map“ – įrankį, skirtą suteikti bendrą būdą „Kubernetes“ planuokliams ir platformoms interpretuoti įvairius paskirstytus dirbtinio intelekto darbo krūvius. Naudojant deklaratyvius YAML apibrėžimus, nebereikia kurti specialių pritaikymo adapterių kiekvienai naujai sistemai, tokiai kaip „JobSet“, „Ray“ ar „KServe“.
„NVIDIA“ pristatė „AI Cluster Runtime“ (AICR), skirtą „Dynamo“ išvesties infrastruktūrai sujungti į patikrintus diegimo šablonus. Šis atnaujinimas supaprastina diegimą, fiksuodamas versijas ir pašalindamas privalomas išorines priklausomybes, pvz., „NATS“, bei pristatydamas naujus „KV-aware“ maršrutizavimo kelius „Kubernetes“ aplinkoje.
AWS pristatė paruoštus „Ray Train“ gilaus mokymosi konteinerius (DLC), kuriuose viename patikrintame atvaizde sujungtos „PyTorch“, „CUDA“, „NCCL“ ir „EFA“ tinklo bibliotekos. Tai leidžia jūsų įmonei diegti paskirstytojo mokymo grupes „Amazon EKS“ platformoje, nereikalaujant prižiūrėti pritaikytų atvaizdų kūrimo procesų ar spręsti sudėtingų tvarkyklių suderinamumo problemų.
NVIDIA pristatė Minerva – operacijų platformą, kuri sujungia telemetriją iš GPU, tinklo įrangos, saugyklų ir vykdomų užduočių, kad operatoriai galėtų pastebėti problemas masiniuose GPU klasteriuose anksčiau, nei jos sukelia prastovas. Mašininio mokymosi modeliai sudaro gyvą techninės įrangos ir darbo krūvių žemėlapį, pažymi neįprastą elgseną ir sugrupuoja susijusius perspėjimus į vieną incidentą su tikėtina priežastimi, užuot užtvindę komandas atskirais pranešimais. Įmontuotas asistentas leidžia darbuotojams užduoti klausimus apie klasterio būklę natūralia kalba, o sistema gali jungtis prie automatizavimo įrankių, kad vykdytų taisymus. IREN, Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI ir Tesla jau ruošiasi ją naudoti, o Dell, Lenovo ir Supermicro siūlys ją kaip dalį savo infrastruktūros sprendimų.