Nauja JAV DI laboratorija Reflection pristatė savo pirmąjį modelį Beam – atvirojo kodo mišrios ekspertų architektūros (MoE) modelį su 501B bendrų parametrų (23B aktyvuojama vienam tokenui) ir 1M tokenų konteksto langu, išleistą pagal Apache 2.0 licenciją. Modelis sukurtas programavimo ir agentinėms užduotims, pristatomas su specialiu Rust pagrindu veikiančiu vykdymo karkasu bei iš karto veikia su transformers, vLLM ir SGLang bibliotekomis. Reflection pateikia stiprius rezultatus programavimo, loginio mąstymo ir įrankių iškvietimo testuose BF16, FP8 ir NVFP4 formatais.
IBM pristatė Granite Switch 4.1 8B ir 30B dydžio versijas – modulinę sistemą, kuri vykdo pokalbį, sprendimų priėmimą ir kalbos transkripciją iš vieno talpinamo endpoint'o, o ne iš atskirų modelių. Atnaujinime pridėtas bendros paskirties sprendimų adapteris, specializuotas „Guardian“ adapteris saugumo klasifikacijai ir integruotas ASR modelis Granite-Speech-5.0-Turbo-CTC, pirmaujantis OpenASR reitinge. Nors sujungtos trys funkcijos, bendras modelis naudoja maždaug tiek pat VRAM, kiek ir pagrindinis modelis vienas.
„Mistral AI“ išleido Timestral – pirmąją savo laiko eilučių prognozavimo pagrindinių modelių šeimą, kurią sudaro keturi dydžiai nuo 5 mln. iki 209 mln. parametrų. Didžiausias modelis užima pirmą vietą visuose trijuose pagrindiniuose viešuose prognozavimo etalonuose (GIFT-Eval, TIME, fev-bench), aplenkdamas ankstesnius lyderius, turinčius daugiau parametrų. Modeliai generuoja tikimybinius, daugiamačius prognozavimus, palaiko praeities ir žinomas ateities kintamąsias (covariates) ir efektyviai veikia CPU be GPU poreikio.
NVIDIA paskelbė, kad visa „Run:ai“ platforma dabar yra atvirojo kodo ir tampa NVIDIA DSX AI Factory Platform pagrindu AI darbo krūvių bei GPU orkestravimui Kubernetes aplinkoje. Leidime pateikiami keturi moduliniai komponentai — KAI Scheduler, GPU Fractioning Operator, KAI Resource Management ir Workload Map, kuriuos galima naudoti kartu arba atskirai. Aštuoni ekosistemos partneriai, tarp jų Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud ir vCluster, integruoja platformą į savo paslaugas.
IBM Research naudojo koordinuotą kelių agentų „agentų gamyklą“, kad ištirtų aparatinės įrangos optimizavimo galimybes kvantinio klaidų taisymo dekoderiui, lygindama patentuotus ir atvirus pirmaujančius modelius pagal tą patį 100 hipotezių paieškos biudžetą. Atviro modelio konfigūracija, veikianti vietoje per IBM „llm-d“ paskirstyto išvedimo sistemą, pasiekė 52 kartų pagreitį lyginant su baziniu projektu, o tai kainavo apie 26 JAV dolerius išvedimo išlaidų, palyginti su 299 doleriais patentuoto modelio konfigūracijai, kuri pasiekė didesnį, 204 kartų, pagreitį. Tyrimas parodo, kad talpyklos pažinimu paremtas maršrutizavimas ir efektyvus aptarnavimas (98 % priešdėlio talpyklos pataikymų rodiklis, ~0,11 USD už milijoną žetonų) padarė atvirų modelių metodą gerokai pigesnį, vis tiek rasdamas tinkamus, kompaktiškus aparatinės įrangos sprendimus.
„Amazon Web Services“ tyrėjai paskelbė metodą „priming“, kuris paverčia iš anksto apmokytus Transformer modelius hibridinėmis architektūromis, derinančiomis dėmesio (attention) ir būsenos erdvės modelio (SSM) sluoksnius, panaudojant jau turimus svorius vietoj mokymo nuo nulio. Metodas sumažina mokymo sąnaudas daugiau nei 99% ir leidžia 32 milijardų parametrų hibridiniam modeliui pasiekti tokią pačią kokybę kaip originalus Transformer modelis, dekoduojant iki dvigubai greičiau. „Amazon“ išbandė tris SSM tipus ir atvirai paskelbė modelių rinkinį, mokymo kodą bei įrankius pagal Apache 2.0 licenciją.