Nauja beta versijos funkcija leidžia saugoti pokalbio būseną serverio pusėje. Siųsdami tik naujus pranešimus, o ne visą pokalbio istoriją, galite pasiekti greitesnį pirmosios atsakymo dalies (time-to-first-token) generavimą.
NVIDIA pristatė „Cosmos“ – platformą, siūlančią pasaulio modelius ir kūrimo įrankius, skirtus fizinio pasaulio dirbtinio intelekto (Physical AI) taikymams, tokiems kaip robotika ir autonominiai automobiliai. Platforma apima modulinius mokymo receptus bei NIM mikrotarnybas, kurios pagreitina modelių veikimą ir leidžia generuoti sinchronizuotus vaizdo bei LiDAR duomenis.
„Amazon“ pristatė darbo eigą, leidžiančią taikyti sekų lygio žinių distiliavimą (SeqKD), siekiant apmokyti mažesnius modelius remiantis didžiųjų „frontier“ modelių sugeneruotomis veiksmų trajektorijomis. Naudojant mokytojo modelį sėkmingiems įrankių naudojimo veiksmams sugeneruoti ir filtruojant juos programiniu vertintoju, komandos gali sukurti kompaktiškus studento modelius, kurie atlieka sudėtingas užduotis žymiai mažesniais kaštais.
NVIDIA pristatė naują komandinės eilutės sąsają „TensorRT Edge-LLM“ vykdymo mechanizmui, leidžiančią kūrėjams greitai kurti ir testuoti dirbtinio intelekto modelius „DGX Spark 64GB“ darbo stotyse. Įrankių rinkinys palengvina modelių paleidimą vietoje ir palaiko „DSpark“ spekuliatyvųjį dekodavimą, skirtą padidinti generavimo spartą ribotų resursų aparatinėje įrangoje.
„Claude API“ dabar palaiko didesnės apimties duomenų perdavimą per „Messages“ ir „Token Counting“ sąsajas. Kūrėjai gali teikti užklausas iki 128 MB, tai keturis kartus daugiau nei anksčiau galiojęs 32 MB limitas.
„NVIDIA“ išleido „Nemotron 3.5 Super VL“ – 120B parametrų multimodalų modelį su 1M žetonų kontekstiniu langu. Modelis naudoja hibridinę „Mamba-2“ ir „MoE“ architektūrą, kad subalansuotų mąstymo gebėjimus ir našumą, ir yra paruoštas diegimui „Amazon EKS“ bei „SageMaker HyperPod“ aplinkose.
IBM išleido „Granite Switch 4.1.1“ – pataisą savo modulinių kalbos modelių architektūrai. Atnaujinimas apima geresnį daugiakalbį kalbos atpažinimo (ASR) modelį ir patobulintą „Decision“ adapterį, nereikalaujant pakartotinio bazinio modelio treniravimo.
„Google“ paskelbė apie „Gemini 4 Carbon“ – naują galingą modelį, skirtą sudėtingoms inžinerijos užduotims ir kibernetiniam saugumui. Modelis pasižymi puikiais pažeidžiamumų aptikimo, saugaus kodo taisymo ir ilgalaikio planavimo rezultatais bei geresne apsauga nuo įvedimo užklausų injekcijų.
Kūrėjai dabar gali nustatyti konkrečias turinio saugos gaires tiesiogiai teikdami API užklausas „Grok“ modeliams. Pridėję „guidelines“ masyvą į „Chat Completions“ ar „Responses“ užklausas, galite valdyti, kaip modelis elgiasi su NSFW, smurto ir necenzūrinės leksikos kategorijomis.
NVIDIA pristatė CUDA 13.4, įdiegdama skaidrų atminties ribojimą GPU dalijimuisi. Kartu su nauju atvirojo kodo „GPU Fractioning Operator“ ir „KAI Scheduler“ v0.18.0, jūsų įmonė gali tiesiogiai „Kubernetes“ Pod anotacijose nustatyti konkrečius atminties poreikius, maksimalias ribas ir skaičiavimo režimus.
„LiquidAI“ išleido „LFM3“ – naujos kartos mažus fundamentalius modelius, veikiančius bendrame 2B parametrų pagrinde. Seriją sudaro teksto, vaizdo, garso ir „omni“ modeliai, sukurti efektyviam veikimui tiesiogiai įrenginiuose.
NVIDIA išleido „Nemotron-Personas“ duomenų rinkinius Prancūzijai ir Belgijai, skirtus pagerinti LLM tikslumą regioninių procedūrų, demografijos ir kultūrinių niuansų atžvilgiu. Šis atnaujinimas suteikia pilną mokymo po pradinio treniravimo darbo eigą, įskaitant sintetinių duomenų generavimą, „LoRA“ derinimą per „NVIDIA NeMo“ ir vertinimą, padedantį pereiti nuo bendrųjų modelių prie konkrečiai sričiai skirtų agentų.
„Google DeepMind“ pristatė „Genie 4“ – multimodalinį pasaulio modelį, leidžiantį kurti interaktyvias simuliacijas realiuoju laiku. Jis natūraliai generuoja vaizdą, garsą ir interaktyvius dialogus, naudodamas „Gemini 3.8 Flash“ fiziniam nuoseklumui ir loginiam mąstymui užtikrinti.
„Google“ atnaujino savo A2UI generatyvinio UI protokolą, įtraukdama keičiamus išvadų (inference) formatus, taip spręsdama vėlavimo ir patikimumo problemas, susijusias su ankstesniu „Direct JSON“ metodu. Naujasis „A2UI Express“ formatas sumažina tokenų sunaudojimą iki 3 kartų ir delsą iki 3 kartų, naudodamas glaustą „Python“ stiliaus sintaksę.
„Google“ atvėrė viešąją „Gemini Robotics Embodied Reasoning 2“ (ER 2) versijos peržiūrą „Gemini“ platformoje. Šis modelis veikia kaip aukšto lygio kognityvinis robotikos sluoksnis, gebantis planuoti, savarankiškai taisyti užduočių eigą ir valdyti kelių robotų sistemas naudojant natūralios kalbos instrukcijas.
Tyrėjai pristatė „Boa Compressor“ – internetinį įrankį, naudojantį „Mamba“ būsenos erdvės modelį, kuris linijiniu laiku suspaudžia ilgą kontekstą į trumpesnes reprezentacijas. Išskirstant žinias iš pilno konteksto LLM sąveikų, šis metodas leidžia efektyviai atlikti išvadas kiekvienai užklausai be didelių „Transformer“ pagrįsto glaudinimo delsos sąnaudų.
OpenAI oficialiai išleido GPT-6.1 Terra – naują modelį, specialiai sukurtą vizualiniam argumentavimui, tiksliam kompiuterio valdymui ir natūralaus teksto generavimui.
„Amazon Bedrock“ dabar palaiko aiškų (explicit) ir numanomą (implicit) užklausų spartinimą (prompt caching) „OpenAI“ modeliams, leidžiantį saugoti ir pakartotinai naudoti statinius duomenis, tokius kaip įrankiai, instrukcijos ir pokalbių istorija. Išvengus identiškų žetonų pakartotinio apdorojimo, galite žymiai sumažinti įvesties kaštus ir pagerinti reagavimą sudėtingose agentų darbo eigose.
„Google“ atnaujino „Gemini API“, todėl visuose naujuose mokamo plano projektuose užklausos dabar automatiškai saugomos (store=true). Šis pakeitimas suvienodina turinio generavimo metodus su „Interactions API“, todėl kūrėjai turi patys išjungti šią funkciją, jei nenori, kad duomenys būtų saugomi.
Amazon išleido TorchNeuron – atvirojo kodo programinę sąsają, leidžiančią esamą PyTorch kodą vykdyti AWS Trainium greitintuvuose be didelių pakeitimų. Naujovė pristato papildomą vykdymo režimą bei kelių lygių talpyklą, mažinančią pakartotinį kompiliavimą, o jos patikimumas buvo patikrintas naudojant AI agentus, kurie iš šimtų tūkstančių Hugging Face modelių atrinko reprezentatyvų testavimo rinkinį. Vidiniai dideliu modeliu atlikti testai parodė, kad laikas iki pirmojo mokymo žingsnio sutrumpėjo maždaug trečdaliu.
Z.ai GLM 5.3 Flash – multimodalinis 320B parametrų Mixture-of-Experts modelis su 18B aktyvių parametrų – dabar pasiekiamas per Mistral platformą. Jis turi 1M žetonų konteksto langą ir sukurtas kūrėjų agentų darbo eigoms, vizualiniam programavimui ir sudėtingoms įrankių naudojimo užduotims. Kaina: 0,15 USD už mln. įvesties žetonų, 0,03 USD už mln. talpykloje saugomų įvesties žetonų, 0,50 USD už mln. išvesties žetonų.
Cohere išleido naujausią įmonėms skirtų perrūšiavimo (reranking) modelių kartą Rerank 5, su Pro ir Fast versijomis. Rerank 5 Pro pirmauja pagrindiniuose viešuose testuose, tarp jų BRIGHT, ViDoRe V3, BEIR ir nanoMTEB, o Rerank 5 Fast siūlo beveik tokią pat kokybę už mažesnę kainą ir didesnį pralaidumą. Naujovė – Context Focus funkcija, kuri grąžina ne visą dokumentą, o tik svarbiausius teksto fragmentus, bei kalibruoti aktualumo įverčiai, kurie veikia kaip tikimybės visuose modeliuose ir srityse.
NVIDIA pristatė tris naujus atvirus, komerciškai licencijuotus komponentus „Nemotron Retriever“ linijoje: „Embed“ modelius (8B ir 1B, BF16 ir NVFP4 formatais) teksto ir vaizdų paieškai, „Rerank“ modelį (8B), kuris perrikiuoja gautus įrodymus pagal aktualumą, ir kompaktišką 631M „Parse“ modelį, verčiantį dokumentų vaizdus struktūruotu tekstu. Tikslas – pateikti AI agentams geresnius, aktualesnius įrodymus, kad jiems reikėtų mažiau paieškos ciklų ir mažiau inferencijos žetonų atsakymui gauti. NVIDIA teigia, kad nauji „Embed“ ir „Rerank“ modeliai pirmauja „ViDoRe v3.1“ dense paieškos ir perrikiavimo lyderių lentelėse.
Dirbtinio intelekto tyrimų bendrovė i14 kartu su AWS pritaikė savo Laplace 3B modelį — 24 sluoksnių architektūrą, pagrįstą Gated Linear Attention (GLA) vietoj įprasto transformerių dėmesio mechanizmo — AWS Trainium2 lustams, naudodama natyvų PyTorch (TorchNeuron Native). Vietoj su kiekvienu tokenu augančios KV talpyklos, modelis išlaiko pastovią 29,5 MB pasikartojančią būseną kiekvienai sekai. Viename trn2.48xlarge serveryje komanda pasiekė apie 120 000 tokenų per sekundę mokymo metu ir aptarnavo 11 544 išvesties tokenus per sekundę esant 1 280 lygiagrečių sekų per nemodifikuotą vLLM variklį.