IBM pristatė Granite Switch 4.1 8B ir 30B dydžio versijas – modulinę sistemą, kuri vykdo pokalbį, sprendimų priėmimą ir kalbos transkripciją iš vieno talpinamo endpoint'o, o ne iš atskirų modelių. Atnaujinime pridėtas bendros paskirties sprendimų adapteris, specializuotas „Guardian“ adapteris saugumo klasifikacijai ir integruotas ASR modelis Granite-Speech-5.0-Turbo-CTC, pirmaujantis OpenASR reitinge. Nors sujungtos trys funkcijos, bendras modelis naudoja maždaug tiek pat VRAM, kiek ir pagrindinis modelis vienas.
„Mistral AI“ išleido Timestral – pirmąją savo laiko eilučių prognozavimo pagrindinių modelių šeimą, kurią sudaro keturi dydžiai nuo 5 mln. iki 209 mln. parametrų. Didžiausias modelis užima pirmą vietą visuose trijuose pagrindiniuose viešuose prognozavimo etalonuose (GIFT-Eval, TIME, fev-bench), aplenkdamas ankstesnius lyderius, turinčius daugiau parametrų. Modeliai generuoja tikimybinius, daugiamačius prognozavimus, palaiko praeities ir žinomas ateities kintamąsias (covariates) ir efektyviai veikia CPU be GPU poreikio.
AWS pristatė tris branduolio (kernel) lygio optimizacijas Mixture-of-Experts (MoE) modelių aptarnavimui Hopper GPU, sukurtas bendradarbiaujant su vLLM bendruomene ir įdiegtas Amazon SageMaker AI LMI konteineryje. Pakeitimai sprendžia fused MoE skaičiavimų neefektyvumą dekodavimo fazėje su mažomis partijomis, kai anksčiau Tensor Core branduoliai būdavo nepilnai išnaudojami. Kartu optimizacijos suteikia iki 10% didesnį pralaidumą ir iki 9% greitesnį laiką iki pirmo tokeno (TTFT).
NVIDIA paskelbė, kad visa „Run:ai“ platforma dabar yra atvirojo kodo ir tampa NVIDIA DSX AI Factory Platform pagrindu AI darbo krūvių bei GPU orkestravimui Kubernetes aplinkoje. Leidime pateikiami keturi moduliniai komponentai — KAI Scheduler, GPU Fractioning Operator, KAI Resource Management ir Workload Map, kuriuos galima naudoti kartu arba atskirai. Aštuoni ekosistemos partneriai, tarp jų Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud ir vCluster, integruoja platformą į savo paslaugas.
IBM Research naudojo koordinuotą kelių agentų „agentų gamyklą“, kad ištirtų aparatinės įrangos optimizavimo galimybes kvantinio klaidų taisymo dekoderiui, lygindama patentuotus ir atvirus pirmaujančius modelius pagal tą patį 100 hipotezių paieškos biudžetą. Atviro modelio konfigūracija, veikianti vietoje per IBM „llm-d“ paskirstyto išvedimo sistemą, pasiekė 52 kartų pagreitį lyginant su baziniu projektu, o tai kainavo apie 26 JAV dolerius išvedimo išlaidų, palyginti su 299 doleriais patentuoto modelio konfigūracijai, kuri pasiekė didesnį, 204 kartų, pagreitį. Tyrimas parodo, kad talpyklos pažinimu paremtas maršrutizavimas ir efektyvus aptarnavimas (98 % priešdėlio talpyklos pataikymų rodiklis, ~0,11 USD už milijoną žetonų) padarė atvirų modelių metodą gerokai pigesnį, vis tiek rasdamas tinkamus, kompaktiškus aparatinės įrangos sprendimus.
„Amazon Web Services“ tyrėjai paskelbė metodą „priming“, kuris paverčia iš anksto apmokytus Transformer modelius hibridinėmis architektūromis, derinančiomis dėmesio (attention) ir būsenos erdvės modelio (SSM) sluoksnius, panaudojant jau turimus svorius vietoj mokymo nuo nulio. Metodas sumažina mokymo sąnaudas daugiau nei 99% ir leidžia 32 milijardų parametrų hibridiniam modeliui pasiekti tokią pačią kokybę kaip originalus Transformer modelis, dekoduojant iki dvigubai greičiau. „Amazon“ išbandė tris SSM tipus ir atvirai paskelbė modelių rinkinį, mokymo kodą bei įrankius pagal Apache 2.0 licenciją.
„OCP Global Summit“ renginyje NVIDIA perdavė savo „Vera Rubin“ lentynų ir skaičiavimo dėklų projektus atvirai MGX architektūrai bei paskelbė eilę partnerysčių, susijusių su AI gamyklų maitinimu, aušinimu ir tinklų standartais. Tarp partnerių – tokie hiperskalės žaidėjai kaip Meta, Google, Microsoft ir AMD, taip pat Cisco bei Visionbay. Pranešimai apima lentynų specifikacijas (MGX 1.2), naują atvirojo kodo programinę įrangą AI duomenų centrams valdyti (DSX OS komponentai), tinklo atsparumo standartus, 800V nuolatinės srovės maitinimo architektūrą, naują „Ethernet“ komutaciją (Spectrum-6) ir naują optinio siųstuvo-imtuvo standartą (USFP) kartu su Cisco.
Mistral AI pristatė Voxtral Mini 4B Realtime Arabic — srautinio kalbos atpažinimo (STT) modelį, pritaikytą arabų kalbos tarmėms, literatūrinei arabų kalbai ir kalbų kaitaliojimui pokalbio metu. 4,4 milijardo parametrų modelis apdoroja 16 kHz garsą realiu laiku su konfigūruojamu transkripcijos vėlavimu ir, esant 480 ms delsai, pasiekia vidutinį 8,82% simbolių klaidų rodiklį (CER) septyniuose arabų kalbos testuose — tai artima neprisijungus veikiančio Voxtral Transcribe Arabic modelio 7,91% rodikliui. Modelis sukurtas kartu su Maroko skaitmeninės transformacijos ministerija kaip suvereni AI priemonė ir išleistas pagal Apache 2.0 licenciją.