„Amazon“ pristatė architektūrinį sprendimą, integruojantį „NVIDIA NeMo Switchyard“ biblioteką su „LiteLLM“, skirtą dinamiškai nukreipti kodo agentų užklausas tarp skirtingų „Bedrock“ modelių. Naudojant „stage“ arba „random“ maršrutizavimą, galima efektyviai paskirstyti srautą tarp galingų ir ekonomiškų modelių, optimizuojant našumą bei kaštus.
„NVIDIA“ paskelbė techninį vadovą, kaip paleisti 753B parametrų GLM-5.3 MoE modelį naudojant dvi DGX stotis su GB300 procesoriais. Naudojant tenzorinį lygiagretumą (TP=2) per RDMA jungtis ir vLLM, galima įveikti vieno GPU atminties apribojimus (252 GB HBM3e) naudojant masyvius modelius.
„llama.cpp“ projektas oficialiai pasiekė 1.0.0 versijos etapą praėjus trejiems su puse metų nuo įkūrimo. Šiame leidime pristatomas griežtas semantinis versijavimas, siekiant užtikrinti geresnį nuspėjamumą kūrėjams, naudojantiems „libllama“ ir „libggml“ C/C++ bibliotekas.
„IBM“ pristatė LLMON (LLM Object Notation) – XML tipo žymėjimo kalbą, kuri naudoja specialius rezervuotus žetonus aiškiai atskirti instrukcijas, duomenis ir apribojimus. Išleisti du eksperimentiniai modeliai, „Granite 4.1 3B“ ir „8B LLMON-preview“, kurie demonstruoja beveik nulinį netiesioginių „prompt“ injekcijų sėkmės rodiklį.
„Tether AI Research“ pristatė „BotPsy“ – 0,8 mlrd. parametrų kalbinį modelį, optimizuotą agentinėms darbo eigoms ir funkcijų iškvietimui. Sukurtas „Qwen3.5-0.8B“ pagrindu, šis modelis skirtas diegimui įrenginiuose, užtikrinant patikimą įrankių naudojimą ir nurodymų vykdymą, išlaikant duomenų privatumą.
„Moonshot AI“ išleido „Kimi K3.1 Pro Highspeed“ – naują modelį „Amazon Bedrock“ platformoje, skirtą sudėtingoms agentų užduotims ir programavimo darbams. Šis modelis pasižymi 2–3 kartus didesniu generavimo greičiu nei standartinė versija, palaiko konfigūruojamą logiką, įrankių iškvietimą bei „explicit prompt caching“ funkciją išlaidų optimizavimui.
„Anthropic“ atnaujino savo specializuotų LLM seriją iki 5.2 versijos. „Claude Fable 5.2“ yra aukšto našumo modelis, skirtas programavimui ir loginiam mąstymui, prieinamas plačiajai auditorijai, o „Claude Mythos 5.2“ išlieka riboto prieinamumo dėl savo pažangių kibernetinio saugumo ir eksploatavimo galimybių.
„Google“ atnaujino atvirojo kodo „JAX“ mokymo sistemą „MaxText“, kad būtų galima treniruoti didelius kalbų modelius (LLM) su itin ilgomis sekomis naudojant „Cloud TPU“. Įdiegus keturias konteksto paralelizavimo strategijas, dabar įmanoma efektyviai treniruoti modelius su iki 14 mln. žetonų, įveikiant atminties ir skaičiavimo ribojimus.
„Amazon“ išplėtė „AgenticRetrieveStream“ API funkcionalumą, leisdama kūrėjams nurodyti iteracijų skaičių žinių bazės užklausoms. Dabar galite rinktis tarp nulio, vieno ar kelių paieškos žingsnių, kad subalansuotumėte greitį, kainą ir sudėtingumą.
NVIDIA pristatė penkias ko-projektavimo kryptis „Vera Rubin NVL72“ platformai, skirtas maksimaliai padidinti pralaidumą dirbant su agentų užduotimis. Derinant naujus duomenų formatus, tokius kaip NVFP4, ekspertinį paralelizavimą ir „Dynamo“ paskirstytojo aptarnavimo sluoksnį, sistema atmintį naudoja kaip vieningą resursą tarp GPU, pagrindinių CPU ir specializuotos saugyklos.
„Dharma-AI“ pristatė 2 milijardų parametrų modelį, skirtą struktūriniams JSON duomenims iš įvairių dokumentų išgauti. Jis palaiko tiek atvirą išgavimą, tiek išgavimą pagal schemą ir lenkia bendros paskirties LLM modelius pagal F1 tikslumo rodiklius, kartu smarkiai sumažinant veiklos sąnaudas.
Tyrėjai pristatė MEMENTO – specializuotą agentų sistemą, sukurtą Qwen3-8B pagrindu, kuri valdo ilgą kontekstą sutraukdama istoriją į glaustas pastabas. Naudojant dirbtinių trajektorijų apmokymą ir sustiprinamąjį mokymąsi (RL), pasiekiamas didelis tikslumas atliekant užduotis su knygomis, griežtai ribojant konteksto naudojimą iki 20 tūkst. žetonų, net kai įvestis siekia 2,5 mln. žetonų.
NVIDIA pristatė naują komandinės eilutės sąsają „TensorRT Edge-LLM“ vykdymo mechanizmui, leidžiančią kūrėjams greitai kurti ir testuoti dirbtinio intelekto modelius „DGX Spark 64GB“ darbo stotyse. Įrankių rinkinys palengvina modelių paleidimą vietoje ir palaiko „DSpark“ spekuliatyvųjį dekodavimą, skirtą padidinti generavimo spartą ribotų resursų aparatinėje įrangoje.
„NVIDIA“ išleido „Nemotron 3.5 Super VL“ – 120B parametrų multimodalų modelį su 1M žetonų kontekstiniu langu. Modelis naudoja hibridinę „Mamba-2“ ir „MoE“ architektūrą, kad subalansuotų mąstymo gebėjimus ir našumą, ir yra paruoštas diegimui „Amazon EKS“ bei „SageMaker HyperPod“ aplinkose.
IBM išleido „Granite Switch 4.1.1“ – pataisą savo modulinių kalbos modelių architektūrai. Atnaujinimas apima geresnį daugiakalbį kalbos atpažinimo (ASR) modelį ir patobulintą „Decision“ adapterį, nereikalaujant pakartotinio bazinio modelio treniravimo.
„NVIDIA“ išleido „Nemotron 3.5 Transcribe“ – atviro svorio, instrukcijomis valdomą modelį, skirtą kalbos vertimui į tekstą, pranešėjų diarizacijai ir vertimui. Modelyje naudojama hibridinė „Mamba-Transformer“ architektūra, užtikrinanti geriausią pramonės našumą su vos 4 milijardais aktyvių parametrų.
„LiquidAI“ išleido „LFM3“ – naujos kartos mažus fundamentalius modelius, veikiančius bendrame 2B parametrų pagrinde. Seriją sudaro teksto, vaizdo, garso ir „omni“ modeliai, sukurti efektyviam veikimui tiesiogiai įrenginiuose.
NVIDIA išleido „Nemotron-Personas“ duomenų rinkinius Prancūzijai ir Belgijai, skirtus pagerinti LLM tikslumą regioninių procedūrų, demografijos ir kultūrinių niuansų atžvilgiu. Šis atnaujinimas suteikia pilną mokymo po pradinio treniravimo darbo eigą, įskaitant sintetinių duomenų generavimą, „LoRA“ derinimą per „NVIDIA NeMo“ ir vertinimą, padedantį pereiti nuo bendrųjų modelių prie konkrečiai sričiai skirtų agentų.
Tyrėjai pristatė „Boa Compressor“ – internetinį įrankį, naudojantį „Mamba“ būsenos erdvės modelį, kuris linijiniu laiku suspaudžia ilgą kontekstą į trumpesnes reprezentacijas. Išskirstant žinias iš pilno konteksto LLM sąveikų, šis metodas leidžia efektyviai atlikti išvadas kiekvienai užklausai be didelių „Transformer“ pagrįsto glaudinimo delsos sąnaudų.
IBM atnaujino savo programinės įrangos ekosistemą, kad Spyre duomenų srauto spartintuvas būtų laikomas aukščiausios klasės PyTorch pagrindine sistema. Naudodami TorchDynamo ir TorchInductor, kūrėjai dabar gali paleisti modelius IBM Z, LinuxONE ir Power sistemose, naudodami standartinius PyTorch darbo eigų ir vLLM papildinius.
Cohere išleido naujausią įmonėms skirtų perrūšiavimo (reranking) modelių kartą Rerank 5, su Pro ir Fast versijomis. Rerank 5 Pro pirmauja pagrindiniuose viešuose testuose, tarp jų BRIGHT, ViDoRe V3, BEIR ir nanoMTEB, o Rerank 5 Fast siūlo beveik tokią pat kokybę už mažesnę kainą ir didesnį pralaidumą. Naujovė – Context Focus funkcija, kuri grąžina ne visą dokumentą, o tik svarbiausius teksto fragmentus, bei kalibruoti aktualumo įverčiai, kurie veikia kaip tikimybės visuose modeliuose ir srityse.
NVIDIA pristatė tris naujus atvirus, komerciškai licencijuotus komponentus „Nemotron Retriever“ linijoje: „Embed“ modelius (8B ir 1B, BF16 ir NVFP4 formatais) teksto ir vaizdų paieškai, „Rerank“ modelį (8B), kuris perrikiuoja gautus įrodymus pagal aktualumą, ir kompaktišką 631M „Parse“ modelį, verčiantį dokumentų vaizdus struktūruotu tekstu. Tikslas – pateikti AI agentams geresnius, aktualesnius įrodymus, kad jiems reikėtų mažiau paieškos ciklų ir mažiau inferencijos žetonų atsakymui gauti. NVIDIA teigia, kad nauji „Embed“ ir „Rerank“ modeliai pirmauja „ViDoRe v3.1“ dense paieškos ir perrikiavimo lyderių lentelėse.
Dirbtinio intelekto tyrimų bendrovė i14 kartu su AWS pritaikė savo Laplace 3B modelį — 24 sluoksnių architektūrą, pagrįstą Gated Linear Attention (GLA) vietoj įprasto transformerių dėmesio mechanizmo — AWS Trainium2 lustams, naudodama natyvų PyTorch (TorchNeuron Native). Vietoj su kiekvienu tokenu augančios KV talpyklos, modelis išlaiko pastovią 29,5 MB pasikartojančią būseną kiekvienai sekai. Viename trn2.48xlarge serveryje komanda pasiekė apie 120 000 tokenų per sekundę mokymo metu ir aptarnavo 11 544 išvesties tokenus per sekundę esant 1 280 lygiagrečių sekų per nemodifikuotą vLLM variklį.