„Google“ atnaujino atvirojo kodo „JAX“ mokymo sistemą „MaxText“, kad būtų galima treniruoti didelius kalbų modelius (LLM) su itin ilgomis sekomis naudojant „Cloud TPU“. Įdiegus keturias konteksto paralelizavimo strategijas, dabar įmanoma efektyviai treniruoti modelius su iki 14 mln. žetonų, įveikiant atminties ir skaičiavimo ribojimus.
„Amazon“ išplėtė „AgenticRetrieveStream“ API funkcionalumą, leisdama kūrėjams nurodyti iteracijų skaičių žinių bazės užklausoms. Dabar galite rinktis tarp nulio, vieno ar kelių paieškos žingsnių, kad subalansuotumėte greitį, kainą ir sudėtingumą.
NVIDIA pristatė penkias ko-projektavimo kryptis „Vera Rubin NVL72“ platformai, skirtas maksimaliai padidinti pralaidumą dirbant su agentų užduotimis. Derinant naujus duomenų formatus, tokius kaip NVFP4, ekspertinį paralelizavimą ir „Dynamo“ paskirstytojo aptarnavimo sluoksnį, sistema atmintį naudoja kaip vieningą resursą tarp GPU, pagrindinių CPU ir specializuotos saugyklos.
„Dharma-AI“ pristatė 2 milijardų parametrų modelį, skirtą struktūriniams JSON duomenims iš įvairių dokumentų išgauti. Jis palaiko tiek atvirą išgavimą, tiek išgavimą pagal schemą ir lenkia bendros paskirties LLM modelius pagal F1 tikslumo rodiklius, kartu smarkiai sumažinant veiklos sąnaudas.
Tyrėjai pristatė MEMENTO – specializuotą agentų sistemą, sukurtą Qwen3-8B pagrindu, kuri valdo ilgą kontekstą sutraukdama istoriją į glaustas pastabas. Naudojant dirbtinių trajektorijų apmokymą ir sustiprinamąjį mokymąsi (RL), pasiekiamas didelis tikslumas atliekant užduotis su knygomis, griežtai ribojant konteksto naudojimą iki 20 tūkst. žetonų, net kai įvestis siekia 2,5 mln. žetonų.
NVIDIA pristatė naują komandinės eilutės sąsają „TensorRT Edge-LLM“ vykdymo mechanizmui, leidžiančią kūrėjams greitai kurti ir testuoti dirbtinio intelekto modelius „DGX Spark 64GB“ darbo stotyse. Įrankių rinkinys palengvina modelių paleidimą vietoje ir palaiko „DSpark“ spekuliatyvųjį dekodavimą, skirtą padidinti generavimo spartą ribotų resursų aparatinėje įrangoje.
„NVIDIA“ išleido „Nemotron 3.5 Super VL“ – 120B parametrų multimodalų modelį su 1M žetonų kontekstiniu langu. Modelis naudoja hibridinę „Mamba-2“ ir „MoE“ architektūrą, kad subalansuotų mąstymo gebėjimus ir našumą, ir yra paruoštas diegimui „Amazon EKS“ bei „SageMaker HyperPod“ aplinkose.
IBM išleido „Granite Switch 4.1.1“ – pataisą savo modulinių kalbos modelių architektūrai. Atnaujinimas apima geresnį daugiakalbį kalbos atpažinimo (ASR) modelį ir patobulintą „Decision“ adapterį, nereikalaujant pakartotinio bazinio modelio treniravimo.
„NVIDIA“ išleido „Nemotron 3.5 Transcribe“ – atviro svorio, instrukcijomis valdomą modelį, skirtą kalbos vertimui į tekstą, pranešėjų diarizacijai ir vertimui. Modelyje naudojama hibridinė „Mamba-Transformer“ architektūra, užtikrinanti geriausią pramonės našumą su vos 4 milijardais aktyvių parametrų.
„LiquidAI“ išleido „LFM3“ – naujos kartos mažus fundamentalius modelius, veikiančius bendrame 2B parametrų pagrinde. Seriją sudaro teksto, vaizdo, garso ir „omni“ modeliai, sukurti efektyviam veikimui tiesiogiai įrenginiuose.
NVIDIA išleido „Nemotron-Personas“ duomenų rinkinius Prancūzijai ir Belgijai, skirtus pagerinti LLM tikslumą regioninių procedūrų, demografijos ir kultūrinių niuansų atžvilgiu. Šis atnaujinimas suteikia pilną mokymo po pradinio treniravimo darbo eigą, įskaitant sintetinių duomenų generavimą, „LoRA“ derinimą per „NVIDIA NeMo“ ir vertinimą, padedantį pereiti nuo bendrųjų modelių prie konkrečiai sričiai skirtų agentų.
Tyrėjai pristatė „Boa Compressor“ – internetinį įrankį, naudojantį „Mamba“ būsenos erdvės modelį, kuris linijiniu laiku suspaudžia ilgą kontekstą į trumpesnes reprezentacijas. Išskirstant žinias iš pilno konteksto LLM sąveikų, šis metodas leidžia efektyviai atlikti išvadas kiekvienai užklausai be didelių „Transformer“ pagrįsto glaudinimo delsos sąnaudų.
IBM atnaujino savo programinės įrangos ekosistemą, kad Spyre duomenų srauto spartintuvas būtų laikomas aukščiausios klasės PyTorch pagrindine sistema. Naudodami TorchDynamo ir TorchInductor, kūrėjai dabar gali paleisti modelius IBM Z, LinuxONE ir Power sistemose, naudodami standartinius PyTorch darbo eigų ir vLLM papildinius.
Cohere išleido naujausią įmonėms skirtų perrūšiavimo (reranking) modelių kartą Rerank 5, su Pro ir Fast versijomis. Rerank 5 Pro pirmauja pagrindiniuose viešuose testuose, tarp jų BRIGHT, ViDoRe V3, BEIR ir nanoMTEB, o Rerank 5 Fast siūlo beveik tokią pat kokybę už mažesnę kainą ir didesnį pralaidumą. Naujovė – Context Focus funkcija, kuri grąžina ne visą dokumentą, o tik svarbiausius teksto fragmentus, bei kalibruoti aktualumo įverčiai, kurie veikia kaip tikimybės visuose modeliuose ir srityse.
NVIDIA pristatė tris naujus atvirus, komerciškai licencijuotus komponentus „Nemotron Retriever“ linijoje: „Embed“ modelius (8B ir 1B, BF16 ir NVFP4 formatais) teksto ir vaizdų paieškai, „Rerank“ modelį (8B), kuris perrikiuoja gautus įrodymus pagal aktualumą, ir kompaktišką 631M „Parse“ modelį, verčiantį dokumentų vaizdus struktūruotu tekstu. Tikslas – pateikti AI agentams geresnius, aktualesnius įrodymus, kad jiems reikėtų mažiau paieškos ciklų ir mažiau inferencijos žetonų atsakymui gauti. NVIDIA teigia, kad nauji „Embed“ ir „Rerank“ modeliai pirmauja „ViDoRe v3.1“ dense paieškos ir perrikiavimo lyderių lentelėse.
Dirbtinio intelekto tyrimų bendrovė i14 kartu su AWS pritaikė savo Laplace 3B modelį — 24 sluoksnių architektūrą, pagrįstą Gated Linear Attention (GLA) vietoj įprasto transformerių dėmesio mechanizmo — AWS Trainium2 lustams, naudodama natyvų PyTorch (TorchNeuron Native). Vietoj su kiekvienu tokenu augančios KV talpyklos, modelis išlaiko pastovią 29,5 MB pasikartojančią būseną kiekvienai sekai. Viename trn2.48xlarge serveryje komanda pasiekė apie 120 000 tokenų per sekundę mokymo metu ir aptarnavo 11 544 išvesties tokenus per sekundę esant 1 280 lygiagrečių sekų per nemodifikuotą vLLM variklį.
Google paskelbė naujus vLLM ir SGLang išvedimo (inference) variklius, sukurtus tiesiogiai ant PyTorch TPU įrenginiams, kuriuos kūrė kartu su Inferact ir RadixArk. Varikliai veikia ant naujo TorchTPU sluoksnio, kuris paverčia TPU natūraliu PyTorch įrenginiu, pakeisdamas ankstesnį JAX pagrindu veikusį sprendimą. Google praneša apie viešą 2,01 cento už milijoną tokenų savikainą esant dideliam lygiagretumui per SemiAnalysis InferenceX projektą, taip pat palaikomus agentinius darbo krūvius, ilgą kontekstą, atskirtą (disaggregated) aptarnavimą ir multimodalius modelius.
Nauja JAV DI laboratorija Reflection pristatė savo pirmąjį modelį Beam – atvirojo kodo mišrios ekspertų architektūros (MoE) modelį su 501B bendrų parametrų (23B aktyvuojama vienam tokenui) ir 1M tokenų konteksto langu, išleistą pagal Apache 2.0 licenciją. Modelis sukurtas programavimo ir agentinėms užduotims, pristatomas su specialiu Rust pagrindu veikiančiu vykdymo karkasu bei iš karto veikia su transformers, vLLM ir SGLang bibliotekomis. Reflection pateikia stiprius rezultatus programavimo, loginio mąstymo ir įrankių iškvietimo testuose BF16, FP8 ir NVFP4 formatais.
IBM pristatė Granite Switch 4.1 8B ir 30B dydžio versijas – modulinę sistemą, kuri vykdo pokalbį, sprendimų priėmimą ir kalbos transkripciją iš vieno talpinamo endpoint'o, o ne iš atskirų modelių. Atnaujinime pridėtas bendros paskirties sprendimų adapteris, specializuotas „Guardian“ adapteris saugumo klasifikacijai ir integruotas ASR modelis Granite-Speech-5.0-Turbo-CTC, pirmaujantis OpenASR reitinge. Nors sujungtos trys funkcijos, bendras modelis naudoja maždaug tiek pat VRAM, kiek ir pagrindinis modelis vienas.
Meta paskelbė Muse Spark Open – atvirų svorių mišraus ekspertų (MoE) modelį, turintį apie 816 milijardų parametrų iš viso ir 42 milijardus aktyvių vienam tokenui. Jis priima tekstą, vaizdus, garsą ir video, o generuoja tekstą, naudodamas iki 1 milijono tokenų kontekstą. Meta pristato jį kaip kodavimui optimizuotą, agentinį modelį, sukurtą ant mažesnio Muse Glimmer architektūros pagrindo, vadindama jį pažangiausiu iki šiol išleistu JAV atvirų svorių modeliu.
Swiss AI išleido Apertus 1.5 — tolesnį atvirų Apertus 1.0 modelių (8B ir 70B, Apache 2.0 licencija) apmokymą, pridedant natyvų vaizdo ir eksperimentinį garso supratimą, 4 kartus didesnį kontekstą (262 144 žetonai), pasirenkamą mąstymo režimą bei pagerintą instrukcijų laikymąsi ir įrankių naudojimą. Modeliai apmokyti iš viso su 19T (8B) ir 17T (70B) žetonų, o visi mokymo duomenys, receptai ir tarpiniai kontrolpunktai paskelbti viešai atkuriamumui. Komanda taip pat paskelbė detalias standartizuotas vertinimo korteles ir pranešė apie ankstyvą API prieigą per tiekėjus kaip Swisscom bei Infomaniak, be to, pristatė ~600B parametrų MoE Apertus 2.0 planus.
„Liquid AI“ paskelbė LFM2.5-24B-A2B – mišrių ekspertų (MoE) modelį su 24B bendrų parametrų, bet tik 2B aktyvių vienam tokenui, skirtą samprotaujantiems agentams vykdyti lokalioje įrangoje. Naujoje versijoje konteksto langas išplėstas iki 131K tokenų, žodynas padvigubintas, o pradinis mokymas atliktas naudojant maždaug dvigubai daugiau duomenų nei ankstesnėje versijoje. Agentinio ir įrankių naudojimo testų rezultatais modelis prilygsta arba lenkia modelius, turinčius apie 50 % daugiau parametrų, kartu pasiekdamas greitą veikimą tiek vartotojiškoje, tiek duomenų centro įrangoje.