„Google Cloud“ pristatė „object enrichments“ – naują „Cloud Storage“ funkciją, kuri automatiškai išgauna metaduomenis iš vaizdų ir PDF failų. Saugant šį kontekstą tiesiogiai šalia pirminių objektų, nebereikia sudėtingų, individualiai kuriamų apdorojimo vamzdynų ar atskirų metaduomenų duomenų bazių.
AWS pateikia tris strategijas, kaip valdyti masyvius JSON duomenų paketus (virš 20 MB) AI agentuose, pasiekiant iki 71 % mažesnį tokenų sunaudojimą ir 80 % mažesnį delsos laiką. Metodas apima duomenų perkėlimą į Amazon S3, rezultatų fragmentavimą ir žodynų glaudinimą.
„Amazon“ „SageMaker“ platformoje įdiegė naujas dirbtinio intelekto pagrindu veikiančias duomenų paruošimo galimybes, palengvinančias aukštos kokybės duomenų rinkinių kūrimą ir priežiūrą. Funkcionalumas apima automatinį žymėjimą, sintetinių duomenų generavimą ir kokybės patikras, valdomas per „Python SDK“ arba AI agentus.
„Google“ išleido „Agent Substrate 1.0“ – atvirojo kodo platformą, skirtą DI agentų sesijoms „Kubernetes“ aplinkoje valdyti. Atskiriant būseną palaikančias sesijas nuo kompiuterinių išteklių, galima „parkuoti“ neveikiančius agentus objektų saugykloje ir atlaisvinti darbinį mazgą.
Amazon pristatė sistemą, skirtą aptikti tyliuosius duomenų sugadinimus (SDC) paskirstyto mokymo metu, kai sugedusi įranga pateikia klaidingus skaičiavimus be jokių įspėjamųjų žurnalų. Integravę tris pasirinktines patikras – gradientų baigtinumo, žiedinio atkūrimo ir svorių atspaudų – į savo PyTorch DDP mokymo ciklus, galite identifikuoti, izoliuoti ir pakeisti neveikiančius mazgus.
AWS paskelbė vadovą, kaip sukurti įvykiais pagrįstą architektūrą, skirtą automatiškai sinchronizuoti Model Context Protocol (MCP) įrankių schemas su AWS Agent Registry. Naudojant AWS CloudTrail, EventBridge ir Lambda, šis konvejeris aptinka vykdymo laiko pakeitimus ir atnaujina registrą kiekvieną kartą, kai pasikeičia MCP serverio įrankių schema.
„Google“ pristatė dvi naujas SQL funkcijas „AlloyDB“ – ai.classify ir ai.extract, leidžiančias atlikti „Gemini“ pagrįstas operacijas tiesiogiai „PostgreSQL 18“ aplinkoje. Šios funkcijos automatizuoja nestruktūrizuoto teksto apdorojimą, pavyzdžiui, nuotaikų analizę ar JSON išgavimą, nereikalaujant papildomų programinių tarpinių sluoksnių.
NVIDIA į savo „AI Cluster Runtime“ (AICR) įrankį integravo atvirojo kodo „k8s-aibom“ projektą. Tai leidžia platformų komandoms automatiškai generuoti ir audituoti dirbtinio intelekto komponentų sąrašus (AIBOM) Kubernetes aplinkoje, identifikuojant modelius, išvados (inference) aplinkas bei priklausomybes.
NVIDIA pristatė „NVIDIA Kubernetes Engine“ (NVKE) ir „NVIDIA Kubernetes Recipes“ (NVKR) kaip atvirojo kodo projektus viešajai peržiūrai. Šie įrankiai skirti padėti kurti, diegti ir valdyti „Kubernetes“ klasterius, specialiai optimizuotus GPU pagreitinamiems darbams.
„NVIDIA“ pristatė atviro kodo įrankį „NVIDIA Snapshot“, skirtą GPU darbo krūviams „Kubernetes“ aplinkoje. Įrašydama pilnai sukonfigūruotus modelius ir jų būsenas, sistema leidžia išvadų (inference) replikoms atsigauti per sekundes, o ne minutes, taip pašalinant pasikartojančius inicijavimo etapus.
„Google Cloud“ išleido „Gemini for healthcare“ – platformą, skirtą sujungti suskaidytus klinikinius bei administracinius duomenis į vieningus darbo procesus. Sprendimas skirtas mažinti medikų darbo krūvį automatizuojant tokias užduotis kaip medicininių įrašų sintezė ir išankstinis leidimų patvirtinimas.
Dabar galite kurti ir vizualizuoti programas, naudojančias Google Maps, Places ir Routes duomenis, tiesiogiai Google AI Studio aplinkoje. Naudojant natūralios kalbos užklausas, platforma automatiškai tvarko API konfigūraciją ir raktų valdymą, siūlydama nemokamą aplinką eksperimentams prieš pradedant gamybinį naudojimą.
„Google Cloud“ pristatė dinaminį TPU (Tensor Processing Unit) skaidymą GKE (Google Kubernetes Engine) aplinkoje, leidžiantį atsieti logines aparatinės įrangos konfigūracijas nuo fizinių mazgų telkinių. Šis atnaujinimas panaikina poreikį rankiniu būdu perkurti mazgų telkinius keičiantis darbo krūviui, taip užtikrinant greitesnį prisitaikymą ir geresnį atsparumą klaidoms.
„Amazon SageMaker Inference“ pristatė NVIDIA „Multi-Instance GPU“ (MIG) palaikymą, leidžiantį padalyti vieną fizinį GPU į kelis nepriklausomus vienetus. Šis aparatinis padalijimas suteikia kiekvienai particijai skirtą skaičiavimo galią ir atmintį, užtikrinant nuspėjamą delsą ir griežtą izoliaciją tarp modelių, esančių tame pačiame akceleratoriuje.
NVIDIA išleido „NVIDIA Attribution“ – atvirojo kodo įrankį, skirtą žurnalams, metrikoms ir planuoklio būsenoms koreliuoti į struktūrizuotas paskirstytų DI mokymo darbų diagnostikas. Įrankis automatiškai išskiria pagrindinę gedimo priežastį iš šalutinių simptomų (pvz., NCCL klaidų), taip padėdamas infrastruktūros komandoms efektyviau valdyti didelio masto GPU sistemas.
NVIDIA Recovery yra nauja atviro kodo paslauga, sukurta palaikyti mokymų produktyvumą automatizuojant klaidų šalinimą GPU klasteriuose. Ji pakeičia rankinę priežiūrą sistemingu procesu, kuris aptinka klaidas, nustato jų priežastis ir inicijuoja perkrovimus arba atskirų mazgų izoliavimą.
NVIDIA pristatė „Workload Map“ – įrankį, skirtą suteikti bendrą būdą „Kubernetes“ planuokliams ir platformoms interpretuoti įvairius paskirstytus dirbtinio intelekto darbo krūvius. Naudojant deklaratyvius YAML apibrėžimus, nebereikia kurti specialių pritaikymo adapterių kiekvienai naujai sistemai, tokiai kaip „JobSet“, „Ray“ ar „KServe“.
„NVIDIA“ pristatė „AI Cluster Runtime“ (AICR), skirtą „Dynamo“ išvesties infrastruktūrai sujungti į patikrintus diegimo šablonus. Šis atnaujinimas supaprastina diegimą, fiksuodamas versijas ir pašalindamas privalomas išorines priklausomybes, pvz., „NATS“, bei pristatydamas naujus „KV-aware“ maršrutizavimo kelius „Kubernetes“ aplinkoje.
Efektyvus automatizavimas priklauso nuo to, kaip jūsų sistemos reaguoja į API apribojimus. Šiame straipsnyje paaiškinamas skirtumas tarp „rate limiting“ (griežti limitai, sukeliantys 429 klaidas) ir „throttling“ (užklausų vėlinimas) bei pateikiamos strategijos, tokios kaip eksponentinis atsitraukimas („exponential backoff“), „jitter“ ir aktyvus paketavimas patikimumui užtikrinti.
AWS pristatė paruoštus „Ray Train“ gilaus mokymosi konteinerius (DLC), kuriuose viename patikrintame atvaizde sujungtos „PyTorch“, „CUDA“, „NCCL“ ir „EFA“ tinklo bibliotekos. Tai leidžia jūsų įmonei diegti paskirstytojo mokymo grupes „Amazon EKS“ platformoje, nereikalaujant prižiūrėti pritaikytų atvaizdų kūrimo procesų ar spręsti sudėtingų tvarkyklių suderinamumo problemų.
AWS atnaujino savo „QA Studio“ etaloninį sprendimą, pridedant gimtąjį palaikymą kelių komandų organizacinėms struktūroms. Naujos galimybės apima programų lygio nuosavybę, automatizuotą sveikatos vertinimą remiantis „CloudWatch“ metrikomis ir granuliuotą vaidmenimis pagrįstą prieigos valdymą.
„n8n 3.0“ išleista beta versijoje, daugiausia dėmesio skiriant pagrindinės architektūros stabilumui, griežtesniems saugumo numatytiesiems nustatymams ir pasenusių funkcijų šalinimui. Nuo šiol savarankiškai talpinamoms sistemoms privalomas „container-only“ diegimo modelis, o prieš gruodžio mėnesį numatytą stabilų išleidimą naudotojai turi pasinaudoti integruota migracijos ataskaita (Migration Report) esamiems pokyčiams valdyti.
„NVIDIA“ išplėtė „Mission Control“ platformą, įtraukdama autonominio atkūrimo funkciją „Kubernetes“ aplinkoms, valdomoms per „Run:ai“. Sistema dabar atskiria užduočių atkūrimą nuo aparatinės įrangos priežiūros, leisdama tęsti mokymo procesus sveikuose mazguose, kol diagnozuojama sugedusi įranga.